Flink
文章平均质量分 80
小财迷,嘻嘻
这个作者很懒,什么都没留下…
展开
-
Flink批处理和流处理实现wordcount
目录1、pom依赖2、Flink批处理wordcount3、Flink流处理wordcount1、pom依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>1.7.2</version></dependency><dependen原创 2021-01-08 22:26:10 · 170 阅读 · 0 评论 -
Flink简介
目录1、Flink是什么?2、为什么选择Flink?3、哪些行业需要处理流数据?4、传统数据处理架构,5、Flink分层API6、Flink的特点7、Flink 与 Spark Streaming的对比1、Flink是什么?Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行状态计算。2、为什么选择Flink?流数据更真实地反映了我们的生活方式传统的数据架构是基于有限数据集的我们的目标低延迟高吞吐结果的准确性和良好的容错性3、哪些行业需要处理流数据?电商和市场营原创 2021-01-08 22:05:42 · 584 阅读 · 0 评论 -
Flink ProcessFunction API
#1、为什么要使用ProcessFunction我们之前学习的转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下,极为重要。例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。基于此,DataStream API提供了一系列的Low-Level转换算子。可以访问时间戳、watermark以及注册定时事件。还可以输出特定的一些事件,例如超时事件等。Process Function用来构建事件驱动的应用以及实现自定义的业务逻辑(使用之前的window原创 2021-01-06 20:01:36 · 94 阅读 · 0 评论 -
Flink Window窗口机制和延迟处理
java版本:Flink Window窗口机制1、窗口在流处理应用中,数据是连续不断的,因此我们不可能等到所有数据都到了才开始处理。当然我们可以每来一个消息就处理一次,但是有时我们需要做一些聚合类的处理,例如:在过去的1分钟内有多少用户点击了我们的网页。在这种情况下,我们必须定义一个窗口,用来收集最近一分钟内的数据,并对这个窗口内的数据进行计算。窗口可以是基于时间驱动的(Time Window,例如:每30秒钟)也可以是基于数据驱动的(Count Window,例如:每一百个原创 2021-01-05 15:29:31 · 2240 阅读 · 0 评论 -
Flink使用(详细教程)
目录1、Environment2、Source2.1 从内存读取数据2.2 从文件中读取数据2.3 kafka读取数据2.4 从端口读取数据2.5 自定义数据源3、Transform3.1 map3.1.1 MapFunction3.1.2 RichMapFunction3.2 flatMap3.2 filter3.4 keyBy3.5 shuffle3.6 split + select3.7 connect3.8 union3.9 Operator3.9.1 滚动聚合算子(Rolling Aggregat原创 2020-12-31 13:57:50 · 11774 阅读 · 1 评论