flink
文章平均质量分 55
天佑凡人
人做一件事情要么是因为有把握有自信可以完成,要么是有责任必须去完成。
展开
-
Flink Checkpointing
flink中每个function和operator都可以状态化,具有可状态化的元素,可以再处理数据过程中进行数据存储,参与数据的容错。 启用和配置检查点 flink程序中,默认关闭Checkpointin。如果想启用Checkpointing,可通过StreamExecutionEnvironment.enableCheckpointing(n),n为毫秒,表示进行checkpoint间隔时间。 (未完待续。。。) ...原创 2020-11-05 16:56:19 · 435 阅读 · 0 评论 -
Broadcast State模式
在flink中,大多数state只作用于各自的算子,算子间不能共用state,BroadcastProcessFunction和KeyedBroadcastProcessFunction则作用于全局算子,进行数据共享,但只能在广播端进行数据的读写,非广播端只有读操作。 ...原创 2020-11-03 18:27:21 · 1437 阅读 · 0 评论 -
配合状态(state)使用的键控流(KeyedDataStream)
Keyed DataStream 键控流(KeyedDataStream)概念:在flink中数据集为DataStream,对其进行分区时,会产生一个KeyedDataStream,然后允许使用键控流的operator以及特有的state(如mapstate、valuestate等) 如果想使用key state,需要对DataStream指明一个key进行分区,也可以使用keyby创建一个KeyedDataStream,对这个KeyedDataStream可以使用keyed state。 keyby原创 2020-11-03 15:28:37 · 895 阅读 · 0 评论