Flink
文章平均质量分 75
今天好好洗头了嘛
这个作者很懒,什么都没留下…
展开
-
FlinkSQL总结(1.12)
FlinkSQL使用总结原创 2022-10-11 13:52:25 · 3044 阅读 · 1 评论 -
Flink生产问题(1.10)
flink生产问题原创 2022-06-20 20:28:43 · 351 阅读 · 0 评论 -
FlinkToMySql两阶段提交
TwoPhaseCommitSinkFunction原创 2022-05-30 23:25:56 · 669 阅读 · 0 评论 -
Flink和Kafka端到端数据一致性
Flink内部把Checkpoint开启,设置Checkpoint模式为EXACTLY_ONCEenv.enableCheckpointing(1000*10L);env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE);KafkaSource当Flink开启Checkpoint时,Kafka的offset会在Checkpoint的时候,把偏移量保存到状态后端(也会提交到kafka中一份)。 注意原创 2022-02-14 16:10:35 · 1652 阅读 · 0 评论 -
Flink常用算子
OperatorsmapDataStream → DataStreamflatMapDataStream → DataStreamfliterDataStream → DataStreamkeyByDataStream → KeyedStream对数据进行分流reduceKeyedStream/KeyedStream/AllWindowedStream → DataStream用于keyBy或者window/windowAll之后windowKeyedStream → Win原创 2022-02-11 17:39:58 · 2272 阅读 · 0 评论 -
Flink常见机制
反压机制Flink在1.5版本之前是基于TCP的流量控制和反压的。缺点:一个TaskManager执行的一个Task触发反压,该TaskManager和上游TaskManager的Socket就不能传输数据,从而影响到其他Task,也会影响到Barrier的流动,导致作业雪崩。在1.5版本之后,Flink是基于信用值的流量控制和反压的,接收端会给发送端授予一定信用值,发送端一但接受到信用通知,就会在信用值所允许的范围内尽可能多的向接收端发送数据,且附带上发送端的积压量。接收端会依据发送端的积压量信息原创 2022-02-10 22:30:47 · 2370 阅读 · 1 评论 -
Flink中Barrier对齐机制
Barrier对齐机制以及Unaligned Checkpoints详解原创 2022-02-10 11:27:26 · 7127 阅读 · 3 评论 -
Flink四大基石
CheckpointStateTimeWindow原创 2022-02-09 20:46:32 · 2623 阅读 · 2 评论 -
Flink架构
Flinks所需组件JobManager接受需要执行的应用,此应用包含一个JobGraph(逻辑Dataflow图),以及打包了全部所需类、库以及其他资源的JAR文件。JobManager将JobGraph转化为ExecutionGraph(物理Dataflow图),此图包含了那些可以并行的任务。JobManager向ResourceManager申请执行任务所需资源(TaskManager的slot槽)。将ExecutionGraph中的任务分发给TaskManager来执行。负责所有需要集中原创 2022-02-08 18:01:02 · 3256 阅读 · 1 评论 -
Dataflow编程模型
Dataflow编程概述原创 2022-02-08 15:57:33 · 656 阅读 · 0 评论