前兄如后背-CSDN博客

原创 Flink之Watermark

punctuated:每条数据后都会插入当前事件时间解析出来的watermarkperiodic:周期性生成，默认是200m生成一个watermark在新版本中punctuated已经被标记为过时(当前版本1.18.1)watermark的构造：1.forMontonousTimestamps:时间戳单调递增策略2.forBoundedOutOfOrderness:为乱序数据创建水位线策略3.forGenerator:自定义策略。

2024-02-18 12:28:20 920 1

原创 Flink中ExecutionGraph的构建

在JobGraph向ExecutionGraph转化的过程中，主要的工作内容根据Operator的并行度来拆分JobVertext,每一个Jobvertex根据自身并行度会拆分成多个ExecutionVertex,使用IntermediateResultPartition对象来接收ExecutionVertex的输出。对于同一个ExecutionVertex的多个输出IntermediaResultPartition对象组成了一个IntermediateResult对象。

2024-02-17 16:07:54 896 1

原创 Flink中JobGraph的构建

1、首先初始化了两个集合，来存储可chain和不可chain的StreamEdge，2、然后获取到当前要处理的StreamNode3、遍历当前StreamNode的边，来判断边两边上下游的StreamNode能否chain在一起，4、将可以chain和不能chain的StreamEdge分别放入各自的集合5、然后将可以chain的StreamNode，chain在一起形成一个OperatorChain，然后继续递归调用，判断chain完成后再下游的StreamNode能否继续chain在一起。

2024-02-13 23:59:54 761 1

原创 FLink中StreamGraph的构建

Graph的概念：Flink中的执行图可以分为四层：StreamGraph—>JobGraph—>ExecutionGraph—>物理执行图StreamGraph:是根据用户通过StreamAPI编写的代码生成的最原始的图，用来表示程序的拓扑结构。JobGraph:StreamGraph经过优化后生成了JobGraph,提交给JobManager的数据结构。主要优化chain合并算子链，减少数据在节点之间，序列化、反序列化、以及网络传输的消耗。ExecutionGraph：JobManager根据J

2024-02-12 12:17:35 1244 1

原创 Flink运行启动脚本解析

flink运行时包含ResourceManager、JobManager、TaskManager、Dispatcher等组件。

2024-02-08 14:28:10 1439

原创 FLink之TimerService

在流处理的过程中，会根据接入的事件类型如事件时间、处理时间，选择不同的方式去处理数据。与此同时在Operator中如何对时间进行协调和管理？在每个Operator内部都维系了一个TimeService服务，专门用于处理与时间相关的操作，例如获取当前算子中最新的处理时间以及watermark、注册不同时间类型的定时器等等。

2024-02-02 19:51:31 886

原创 FLink之StreamOperator

AbstractStreamOperator作为StreamOperator的基本实现类，所有的Operator都会继承和实现该抽象方法用于存储KeyedState的状态管理后端，默认为HashMapStateBackend。如果配置RocksDB作为状态存储后端，则此处为RocksDBKeyedStateBackend。

2024-01-31 14:00:27 1360

原创 Flink之Transformation详解

2.2 OneInputTransformation单进单出的数据集之间的转换操作，例如map、flatMap、filterOneInputTransformation类以flatMap为例解释解释说明其转换过程：flatMap API 调用后会生成"Flat Map",outType和StreamOperator为transformation成员变量赋值，不同的API的会统一到transform()和doTransform()方法调用上OneInputTransformation有一个Transf

2024-01-30 19:31:14 468 1

原创 Flink之DataStream API 概述

系列文章目录前言一、DataStream API 应用实例1、StreamExecutionEnvironment初始化：该部分主要创建和初始化StreamExecutionEnvironment，提供通过DataStream API构建Flink作业需要的执行环境，包括设定ExecutionConfig、CheckpointConfig等配置信息以及StateBackend和TimeCharacteristic等变量。

2024-01-30 14:56:01 956 1

m0_43437171的博客