![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
文章平均质量分 71
Vincer_DB
这个作者很懒,什么都没留下…
展开
-
Flink1.9.1,scala2.12连接kafka2.11_2.40实例
1.添加相关依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.12</artifactId> <version>1.9.1</version&...原创 2020-01-13 23:51:56 · 1842 阅读 · 2 评论 -
Flink自定义aggregate聚合函数的步骤
第一步:将dataStream转换城windowedStream // 从kafka读取数据 val inputStream = env.addSource(new FlinkKafkaConsumer[String]("hotitems", new SimpleStringSchema(), properties)) .map(dat...原创 2019-10-27 21:54:58 · 8203 阅读 · 4 评论 -
Flink乱序数据处理过程解析
warter是用来定义延迟触发窗口操作的时间的,假设窗口时00:00~00:05,warter为1分钟,那么相当于将接收这个窗口中的数据的时间向后延长了1分钟,自然操作这些数据的时间也会延迟1分钟。在不添加EventTime,只有窗口操作的情况下,Flink实时性得到了最大的发挥,但是于此同时,操作结果也非常不准确,只要过来的数据有达到窗口的结束时间window_end_time的,将会马上触发窗口,那么在接收数据是乱序的情况下,将会导致此窗口的数据大部分的丢失。原创 2019-10-26 13:20:08 · 1002 阅读 · 1 评论 -
Flink的各种数据源(source)
第一步:创建流处理环境: val env = StreamExecutionEnvironment.getExecutionEnvironment第二步:读取数据第一种.从已有集合读取数据 val stream1 = env.fromCollection(List( SensorReading("sensor_1", 1547718159, 4),...原创 2019-10-23 14:40:23 · 5080 阅读 · 0 评论 -
Flink根据流式数据处理WordCount详解任务并行度
import org.apache.flink.api.java.utils.ParameterToolimport org.apache.flink.streaming.api.scala._object StreamWordCount { def main(args: Array[String]): Unit = { // 创建流处理的执行环境 ...原创 2019-10-23 11:16:57 · 894 阅读 · 0 评论 -
Flink配置参数解释
# jobManager 的IP地址jobmanager.rpc.address: hadoop102# JobManager 的端口号jobmanager.rpc.port: 6123# JobManager JVM堆大小jobmanager.heap.size: 1024m# taskmanager JVM堆大小taskmanager.heap.size: 1024m...原创 2019-10-23 10:07:58 · 838 阅读 · 0 评论