- 博客(37)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Flink 应用案例——求网页访问量Top N 实时计算(附可执行代码)
以下数据 为某网站的访问日志 现要求通过以下数据 统计出最近10s内最热门的N个页面(即url链接),并且每5s更新一次;即求出页面访问量中的TOP N
2023-03-17 17:54:44
1672
1
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 Flink 从 kafka 中读取数据并输出到 kafka
Flink 从 kafka 中读取数据并输出到 kafka。FlinkKafkaConsumer()和FlinkKafkaProducer ()介绍
2023-03-05 00:27:28
3817
3
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 理解.exe文件的结构原理即运行过程
windows上运行一个.exe文件的原理和过程。一、什么是exe? 二、exe文件结构及原理 三、运行exe的原理和过程 四、exe文件病毒原理
2022-05-06 17:17:10
13664
原创 Docker Compose部署项目flask+mysql + redis
Docker Compose通过一个单独的docker-compose.yml 模板文件(YAML 格式)来定义一组相关联的应用容器,帮助我们实现多个相互关联的Docker容器的快速部署。
2024-05-02 18:02:34
500
3
原创 docker挂载数据卷-以nginx为例
docker挂载数据卷本质上就是实现容器内文件和宿主机文件的双向绑定。挂载数据卷可以使容器内的数据持久化保存在宿主机上,我们可以在容器内外对数据进行修改和访问,即使容器被删除,数据也不会丢失。这对于保存重要的数据或配置文件非常有用。
2024-05-02 16:54:48
732
2
原创 Spark 中数据结果传输到 Driver 端
我们知道将大量数据传输到 Driver 端可能会导致和的问题。这究竟是怎么一回事呢?让我们来一探究竟吧。
2023-10-13 11:15:18
594
原创 spark中使用flatmap报错:TypeError: ‘int‘ object is not subscriptable
spark中使用flatmap报错:TypeError: ‘int‘ object is not subscriptable
2023-10-12 13:12:09
1330
原创 spark中的shuffle简述 那些会导致shuffle的算子
比如join、cogroup等join类的操作:两个rdd进行join,就必须将相同join key的数据,shuffle到同一个节点上,然后进行相同key的两个rdd数据的笛卡尔乘积。重分区: 一般会shuffle,因为需要在整个集群中,对之前所有的分区的数据进行随机,均匀的打乱,然后把数据放入下游新的指定数量的分区内。byKey类的操作:因为你要对一个key,进行聚合操作,那么肯定要保证集群中,所有节点上的,相同的key,一定是到同一个节点上进行处理。可以发现这段程序经历了shuffle。
2023-10-12 12:18:40
1307
原创 Spark中join和cogroup
join算子相当于将两个rdd进行内连接,在join的结果中,返回值是key和元组.cogroup算子相当于将两个rdd中 相同键的每个元素的value进行合并中。
2023-08-27 10:55:55
409
原创 hive分区表 静态分区和动态分区
在动态分区中,分区值是根据插入的数据动态计算得出的,无需事先创建分区目录。这样的分区方式更加灵活,适用于数据分布不确定或分区值频繁变化的情况。动态分区操作通常会涉及到 MapReduce 任务。在静态分区中,你在创建表时预先定义了分区值,并手动创建了相应的分区目录。这意味着你需要为每个可能的分区值手动创建一个目录,然后将数据加载到这些目录中。静态分区需要事先知道数据应该放置在哪些分区中,适用于在创建表时已经确定分区结构的情况。
2023-08-25 10:15:54
998
原创 SQL计算出每年在校人数
【代码】SQL计算出每年在校人数。以下是一个录取学生人数表的示例,记录了每年录取学生的人数和入学学制。根据以上示例计算出每年在校人数,写出SQL语句。
2023-07-11 13:54:07
2663
原创 spark应用----统计分析电商网站的用户行为数据
本项目的数据是采集电商网站的用户行为数据,主要包含用户的4种行为:搜索、点击、下单和支付。需求说明:品类是指产品的分类,大型电商网站品类分多级,咱们的项目中品类只有一级,不同的公司可能对热门的定义不一样。我们按照每个品类的点击、下单、支付的量来统计热门品类。编号字段名称字段类型字段含义1dateString用户点击行为的日期2user_idLong用户的ID3session_idStringSession的ID4page_idLong某个页面的ID5String。
2023-06-27 15:26:29
929
原创 Spark 实现重新分区 partitionBy、coalesce、repartition(附代码演示)
coales参数1,传入分区个数参数2,传入 shuffle,默认为 False,为False则不进行shuffle,带有分区捆绑进行重新分区若shuffle = True, 则进行shuffle操作,不带有分区捆绑进行重新分区 分区更加均匀(避免数据倾斜)调用方式 coalesce既可以实现RDD分区的合并缩小,也可以实现RDD分区的扩大调用方式 返回一个新的RDD,它刚好有numPartitions(参数1)个分区。调用方式 repartition默认开启s
2023-04-18 09:05:52
3684
原创 Flume kafkasource报错:GC overhead limit exceeded
笔者在集成kafka和flume时 kafkasource报出如下错误:Exception in thread "PollableSourceRunner-KafkaSource-r1" java.lang.OutOfMemoryError: GC overhead limit exceeded
2023-04-06 19:27:53
789
原创 Flink 水位线、窗口、窗口分配器、窗口函数 四者简述 (附可运行代码)
一个水位线t 表示在当前数据流中,事件时间已经达到了时间戳t,这代表t之前的所有数据都到齐了,之后出现的数据流中不会出现 t0。而将flink中无界流的数据进行切分,切分为一个个有限数据的数据块,这就是所谓的窗口(windows)顾名思义,窗口分配器就是将数据划分到它应有的数据块(窗口)中,构建窗口函数前 我们都要先构建窗口分配器。长度为10s 滑动步长为5s的滑动窗口,5s统计一次,每次统计当前10s内的数据。长度为5s的滚动窗口,每隔5s 对当前 5s 内的数据进行一次统计。作为数据流中的数据类型。
2023-03-08 22:53:16
504
原创 Flink程序入门 ( java API )
Flink程序其实就是对数据流DataStream 进行各种转换简单来说Flink 由以下五个步骤构成:1、执行环境2 、数据源(source)3 、数据转换操作(Transformation)4 、数据输出(sink)5 、触发程序执行
2023-03-01 15:50:04
788
原创 AttributeError: module ‘pyspark.rdd‘ has no attribute ‘V‘
AttributeError: module 'pyspark.rdd' has no attribute 'T'AttributeError: module 'pyspark.rdd' has no attribute 'V'
2022-11-15 13:36:45
1422
1
原创 Java中集合的介绍(附测试代码)
我们知道java中常常需要对多个对象进行存储和操作,而使用array数组存储对象时有一些弊端(数组中提供的属性和方法少,不便于进行添加、删除、插入等操作)。因此集合应运而生(虽然集合底层也和数组密切相关)。Java 集合可分为 Collection 和 Map 两种体系
2022-11-02 19:27:21
408
原创 HBase读写流程
首先明确一点:region server主要用来服务读和写操作。当用户通过client访问数据时,下面我们进入正题。(5)客户端 调用Table的put方法写入数据:解析RowKey并对照缓存的MetaCache,查看具体写入的位置由哪个 RegionServe负责,将put请求发送到对应的RegionServer;
2022-10-08 20:30:25
1265
1
原创 学习笔记:深入理解MapReduce
为什么是MapReduce? MapReduce流程介绍,MapReduce中的shuffle洗牌机制。的作用与理解。
2022-10-06 09:01:11
569
2
原创 中国各区域天气情况统计可视化Scrapy+MySQL+Flask(内附完整代码)
利用python scrapy框架实现天气情况统计,同时连接mysql数据库,利用Flask框架可视化处理。实高性能异步爬取并实现定时爬取。(内附完整代码)
2022-07-26 10:39:15
1198
原创 Python中URL的编码和解码:quote, unquote, urlencode
python中urllib.parse有三个方法:quote, unquote, urlencodeunquote负责解码quote和urlencode负责编码,但二者的使用方式和返回值又有所不同
2022-05-23 20:03:29
1601
1
原创 MTPuTTY报错:Unable to run PuTTY 系统找不到指定的文件
打开MTPuTTY时遇到报错:Unable to run PuTTY 系统找不到指定的文件。显然是PuTTY文件路径问题
2022-04-29 11:30:28
1629
原创 Python验证码图片去噪并识别,tesserocr,image,numpy库的应用
Python验证码图片去噪并识别,tesserocr,image,numpy库的应用
2022-03-26 20:31:29
3923
1
原创 java多线程对Runnable和Thread的理解及简述,内附实例。
实现了接口Runnable中的run方法的对象就像是一份被指定的工作。而Thread就像是一个等待接收工作的工人。因此把实现了接口Runnable中的run方法的对象传入Thread()时就相当于给一个工人指定了工作。而这个被指定了工作的工人也就相当于一份可执行的线程。模拟三个人排队买票,张某、李某和赵某买电影票,售票员只有三张五元的钱,电影票5元钱一张。张某拿二十元一张的新人民币排在李的前面买票,李某排在赵的前面拿一张10元的人民币买票,赵某拿一张五元的人民币买票。
2022-03-16 10:18:35
2219
2
原创 java中监听器的简单介绍。窗口实现一个文本框随另一个文本框输入而实时自动更新。
java实现自动更新实时更新的触发事件。当我们在一个文本区中输入若干个数时,另一个文本区同时对你输入的数进行求和运算并求出平均值,也就是说随着你输入的变化,另一个文本区不断地更新求和及平均值。
2022-03-12 17:11:53
2590
原创 java异常处理及自定义异常
有风险的行为(方法)可能会将异常抛出(throws)。调用该方法的程序会尝试(try)去运行,运行的同时捕捉(catch)异常。让编译器确定你了解所调用的方法是有风险的,并也准备好用try和catch来处理它。如果对有风险的行为不进行异常状况处理则无法通过编译。
2022-03-09 12:21:23
818
原创 爬虫简述与爬虫实例
response = requests.get(url = url)page_text = response.text print(page_text)
2022-03-09 01:58:28
611
原创 操作系统,shell, 内核三者简述
操作系统是人们为了方便管理计算机而创造出来的,它由shell和内核以及其他等系统软件组成,覆盖在计算机硬件的第一层。操作系统负责与直接硬件打交道,是介于用户应用程序与计算机硬件之间的一层系统软件。通俗一点讲,操作系统就是用户和计算机硬件二者连接的桥梁。
2022-03-09 01:26:36
2550
原创 什么?java也能弹钢琴?
通过 import javax.sound.midi.*; 编写的一个小小的java音乐播放器,是的,他只会发出奇怪的一声“den~” 。仅此而已。
2022-03-06 03:16:29
742
1
原创 Java输出日期与操作日期
System.out.print(new Date());可以让你输出当前日期。但如果要操作具体的日期。Date这个类就有些力不从心了,但好消息是我们可以用Java.util.Calendar来操作日期。如果说Date是当前日期,那么Calendar更像是一个日程表。package a0228;import java.util.Date;import java.util.Calen..
2022-03-02 23:22:51
944
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人