![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink源码
黄瓜炖啤酒鸭
黄瓜炖啤酒鸭 欢迎分享,欢迎交流,有不懂的可以加微信交流,拒绝红包等利益交流,不懂就问。
展开
-
Flink 源码系列 01
慢慢写~转载 2019-07-10 14:38:16 · 111 阅读 · 0 评论 -
Flink 源码入门01
1,下载官网代码,在本地编译,成功之后,可以看到分为很多个包,我们首先入门得进简单一点的,进入example案例里面 2,我们找到经典代码: package org.apache.flink.streaming.examples.wordcount; public class WordCount { // *******************************...转载 2019-07-19 18:27:29 · 252 阅读 · 0 评论 -
Flink 源码入门02
事实上,flink总共提供了三种图的抽象,我们前面已经提到了StreamGraph和JobGraph,还有一种是ExecutionGraph,是用于调度的基本数据结构。 上面这张图清晰的给出了flink各个图的工作原理和转换过程。其中最后一个物理执行图并非flink的数据结构,而是程序开始执行后,各个task分布在不同的节点上,所形成的物理上的关系表示。 从JobGraph的图里可以看到,数...转载 2019-07-22 09:17:42 · 303 阅读 · 0 评论 -
Flink 1.9源码学习01 ----启动源码分析
1,先找到对应的模块 flink-dist模块: 2,我们可以看到很多脚本,全是启动脚本命令 因为我们要找启动命令,standalone模式下我们通过start-cluster.sh这个脚本启动,打开看看: #!/usr/bin/env bash ####################################################################...原创 2019-10-09 11:15:20 · 693 阅读 · 0 评论 -
Flink 1.9源码学习02 ----JobManager启动源码分析
在上一篇我们看到jobmanager的启动类org.apache.flink.runtime.entrypoint.StandaloneSessionClusterEntrypoint 来看一下StandaloneSessionClusterEntrypoint启动类的一些重要的方法: --->>> 我们先看main方法: ClusterEntrypoint是一...原创 2019-10-09 16:55:41 · 334 阅读 · 0 评论 -
Flink 1.9源码学习03 ---- TaskManager启动源码
通过启动脚本已经找到了TaskManager 的启动类org.apache.flink.runtime.taskexecutor.TaskManagerRunner --->>> 我们先看它的main方法: 调用了runTaskManager方法,启动task manager: 启动了taskManager start其实是将taskManager...原创 2019-10-10 12:22:44 · 260 阅读 · 0 评论 -
Flink 1.9源码学习04 ----Job启动Driver端
1,整个Flink的Job启动是通过在Driver端通过用户的Envirement的execute()方法将用户的算子转化成StreamGraph 2,然后得到JobGraph通过远程RPC将这个JobGraph提交到JobManager对应的接口 3,JobManager转化成executionGraph.deploy(),然后生成TDD发给TaskManager,然后整个Job就启动起来了...原创 2019-10-10 15:02:33 · 355 阅读 · 0 评论 -
Flink 1.9源码学习05 ----Job启动JobManager端源码分析
Driver将用户代码转换成streamGraph再转换成Jobgraph后向Jobmanager端提交 JobManager启动以后会在Dispatcher.java起来RPC方法submitJob(jobGraph),用于接收来自Driver转化得到的JobGraph来启动任务 具体来看jobGraph提交到JobManager的submitJob方法 package org.apac...原创 2019-10-10 15:37:06 · 229 阅读 · 0 评论