flink
文章平均质量分 57
老树红枫
这个作者很懒,什么都没留下…
展开
-
Flink窗口基础(一)
Flink窗口基础(一)1、窗口概念:流式计算是一种被设计用于处理无限数据集的数据处理引擎,而无限数据集是指一种不断增长的本质上无限的数据集,而Window窗口是一种切割无限数据为有限块进行处理的手段。2、窗口的分类:时间驱动:基于时间的窗口**时间驱动→滚动窗口(Tumbling Windows):**滚动窗口有固定的大小, 窗口与窗口之间不会重叠也没有缝隙。滚动窗口能将数据流切分成不重叠的窗口,每一个事件只能属于一个窗口。如图code:env .socketTextStream("原创 2021-09-01 20:30:08 · 198 阅读 · 0 评论 -
Flink—RedisSink
Flink—RedisSink1.开发流程特别说明:Flink版本1.12Reids不是跟着Flink版本的走的,相当于有第三方提供的工具类。2.环境介绍idea+liunx添加Redis Connector依赖<!-- https://mvnrepository.com/artifact/org.apache.flink/flink-connector-redis --><dependency> <groupId>org.apache.fli原创 2021-08-27 01:46:05 · 344 阅读 · 0 评论 -
Flink—kafkaSink
Flink—kafkaSink1.开发流程特别说明:Flink内置了一些Sink, 除此之外的Sink需要用户自定义!2.环境介绍hadoop+zookeeper+kafka添加Kafka Connector依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.11</artifactId>原创 2021-08-27 00:27:59 · 2448 阅读 · 0 评论 -
Flink从Kafka读取数据
Flink从Kafka读取数据1、环境搭建,hadoop集群、zookeeper、kafka2、IDEA程序编写+配置依赖在IDEA中添加kafka配置依赖:Apache Flink 附带了一个通用的 Kafka 连接器,它试图跟踪最新版本的 Kafka 客户端。它使用的客户端版本可能会在 Flink 版本之间发生变化。现代 Kafka 客户端向后兼容代理版本 0.10.0 或更高版本。关于Kafka兼容性的详细信息,请参考Kafka官方文档。<dependency> <gro原创 2021-08-22 17:23:40 · 5380 阅读 · 1 评论