![](https://img-blog.csdnimg.cn/20190927151026427.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
flink
文章平均质量分 89
flink内核与源码学习
前兄如后背
这个作者很懒,什么都没留下…
展开
-
Flink之Watermark
punctuated:每条数据后都会插入当前事件时间解析出来的watermarkperiodic:周期性生成,默认是200m生成一个watermark在新版本中punctuated已经被标记为过时(当前版本1.18.1)watermark的构造:1.forMontonousTimestamps:时间戳单调递增策略2.forBoundedOutOfOrderness:为乱序数据创建水位线策略3.forGenerator:自定义策略。原创 2024-02-18 12:28:20 · 967 阅读 · 1 评论 -
Flink中ExecutionGraph的构建
在JobGraph向ExecutionGraph转化的过程中,主要的工作内容根据Operator的并行度来拆分JobVertext,每一个Jobvertex根据自身并行度会拆分成多个ExecutionVertex,使用IntermediateResultPartition对象来接收ExecutionVertex的输出。对于同一个ExecutionVertex的多个输出IntermediaResultPartition对象组成了一个IntermediateResult对象。原创 2024-02-17 16:07:54 · 904 阅读 · 1 评论 -
Flink中JobGraph的构建
1、首先初始化了两个集合,来存储可chain和不可chain的StreamEdge,2、然后获取到当前要处理的StreamNode3、遍历当前StreamNode的边,来判断边两边上下游的StreamNode能否chain在一起,4、将可以chain和不能chain的StreamEdge分别放入各自的集合5、然后将可以chain的StreamNode,chain在一起形成一个OperatorChain,然后继续递归调用,判断chain完成后再下游的StreamNode能否继续chain在一起。原创 2024-02-13 23:59:54 · 763 阅读 · 1 评论 -
FLink中StreamGraph的构建
Graph的概念:Flink中的执行图可以分为四层:StreamGraph—>JobGraph—>ExecutionGraph—>物理执行图StreamGraph:是根据用户通过StreamAPI编写的代码生成的最原始的图,用来表示程序的拓扑结构。JobGraph:StreamGraph经过优化后生成了JobGraph,提交给JobManager的数据结构。主要优化chain合并算子链,减少数据在节点之间,序列化、反序列化、以及网络传输的消耗。ExecutionGraph:JobManager根据J原创 2024-02-12 12:17:35 · 1257 阅读 · 1 评论 -
Flink运行启动脚本解析
flink运行时包含ResourceManager、JobManager、TaskManager、Dispatcher等组件。原创 2024-02-08 14:28:10 · 1455 阅读 · 0 评论 -
FLink之StreamOperator
AbstractStreamOperator作为StreamOperator的基本实现类,所有的Operator都会继承和实现该抽象方法用于存储KeyedState的状态管理后端,默认为HashMapStateBackend。如果配置RocksDB作为状态存储后端,则此处为RocksDBKeyedStateBackend。原创 2024-01-31 14:00:27 · 1369 阅读 · 0 评论 -
Flink之Transformation详解
2.2 OneInputTransformation单进单出的数据集之间的转换操作,例如map、flatMap、filterOneInputTransformation类以flatMap为例解释解释说明其转换过程:flatMap API 调用后会生成"Flat Map",outType和StreamOperator为transformation成员变量赋值,不同的API的会统一到transform()和doTransform()方法调用上OneInputTransformation有一个Transf原创 2024-01-30 19:31:14 · 496 阅读 · 1 评论 -
Flink之DataStream API 概述
系列文章目录前言一、DataStream API 应用实例1、StreamExecutionEnvironment初始化:该部分主要创建和初始化StreamExecutionEnvironment,提供通过DataStream API构建Flink作业需要的执行环境,包括设定ExecutionConfig、CheckpointConfig等配置信息以及StateBackend和TimeCharacteristic等变量。原创 2024-01-30 14:56:01 · 964 阅读 · 1 评论