flink
键盘 | 书生
You can`t indulge a little mistake, or you`ll lose the whole game
展开
-
Flink是什么?
1.一个分布式流处理引擎。2.有批处理,流处理和表查询操作。3.由Jobmanager,Taskmanager,slot组成原创 2021-11-06 16:21:08 · 1024 阅读 · 0 评论 -
Flink 执行流程
Flink任务提交后,Client向HDFS上传Flink的Jar包和配置 向Yarn ResourceManager提交任务,ResourceManager分配Container资源 通知对应的NodeManager启动ApplicationMaster,ApplicationMaster启动后加载Flink的Jar包和配置构建环境,然后启动JobManager ApplicationMaster向ResourceManager申请资源启动TaskManager ResourceManager..原创 2020-10-12 11:50:10 · 400 阅读 · 0 评论 -
flink Graph转换过程
flink 提交任务后 Graph转换过程如下:Flink程序(jar包)→ StreamGraph(数据流图,client解析jar包生成原始算子链,web页面执行计划图)→JobGraph(作业图,client将one-to-one且并行度相同的subtask操作链合并为一个task,提交给jobmanager)→ExecutionGraph(执行图,jobmanager根据并行度展开)→物理执行图...原创 2020-10-12 09:26:45 · 639 阅读 · 0 评论