flink
bigdata_tw
这个作者很懒,什么都没留下…
展开
-
flink-watermark(水印)
一、什么是flink-watermark(水印)1.1官方字面介绍Flink-watermark(水印)的本质是DataStream中的一种特殊元素,每个水印都携带有一个时间戳。 当时间戳为T的水印出现时,表示事件时间t <= T的数据都已经到达,即水印后面应该只能流入事件时间t > T的数据。 也就是说,水印是Flink判断迟到数据的标准,同时也是窗口触发的标记。1.2代码层面public final class Watermark extends StreamElement原创 2020-06-23 12:23:39 · 2282 阅读 · 0 评论 -
flink-runtime架构
一、flink是什么?二、flink on yarn作业提交流程1、未引入 Dispatcher 的架构2、引入 Dispatcher 的架构ResourceMangerTaskManagerTaskManger 和 ResourceManager 的交互TaskManager 和 JobManager 的交互JobManager SlotPoolDispatcher三、Standalone 模式的架构总览四、资源分配详解1、请求新的 TaskManager 的 slot 分配流程原创 2020-06-23 12:10:26 · 271 阅读 · 0 评论 -
flink的exrat_once机制实现原理
引言flink提供了能够保持一致地恢复数据流应用的状态的一种容错机制,这种机制保证即使在故障持续发生的情况下,程序的状态最终依然会从数据流中产生并且保证exactly once,即正好一次的语义。容错机制持续不断地从分布式数据流中提取snapshot快照,对于状态小small state的数据流应用,这些快照是非常轻量级的并且频繁的提取下不会对系统性能造成太大的影响。流应用的状态保存在一个可配...转载 2019-04-08 19:41:16 · 201 阅读 · 0 评论