Flink
ChanKamShing
这个作者很懒,什么都没留下…
展开
-
CentOS7搭建flink1.6与消费kafka操作
写在最前,本次环境搭建是在Hadoop2.6.1,三节点的基础上完成的。(关于搭建Hadoop环境,可参考:https://blog.csdn.net/weixin_39400271/article/details/89057884)说明:#master,表示在master节点上操作;#master,#slave1,#slave2,表示在三个节点上都要操作;一、准备工作再官...原创 2019-07-10 08:10:58 · 430 阅读 · 0 评论 -
Flink的WaterMark,及demo实例
实际生产中,由于各种原因,导致事件创建时间与处理时间不一致,收集的规定对实时推荐有较大的影响。所以一般情况时选取创建时间,然后事先创建flink的时间窗口。但是问题来了,如何保证这个窗口的时间内所有事件都到齐了?这个时候就可以设置水位线(waterMark)。概念:支持基于时间窗口操作,由于事件的时间来源于源头系统,很多时候由于网络延迟、分布式处理,以及源头系统等各种原因导致源...原创 2019-08-18 20:02:52 · 474 阅读 · 0 评论