![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink源码学习
abcdef324
这个作者很懒,什么都没留下…
展开
-
Flink源码阅读(一)源码环境搭建
一 引言 Flink源码本身比较复杂,我打算以Flink的Standalone模式为入口,研究当一个jar包被提交进Flink后,flink如何处理的过程。二 环境搭建 搭建过程可以参考官方文档 https://ci.apache.org/projects/flink/flink-docs-release-1.8/ops/depl...原创 2019-04-20 18:57:49 · 4324 阅读 · 0 评论 -
Flink源码阅读(二)TaskManager
TaskManager简介通过前面的分析可以知道taskManager的入口是org.apache.flink.runtime.taskexecutor.TaskManagerRunner类,而且类上的注释也指明了这一点。This class is the executable entry point for the task manager in yarn or standalone mo...原创 2019-04-22 21:28:32 · 685 阅读 · 0 评论 -
Flink源码阅读(四)JobManager和TaskManager的rpc
引言我们知道,jobmanager和taskmanager在集群模式下,是部署在不同机器上面的,那么现在就有一个问题,jobmanager和taskmanager是如何相互调用的。分析切入点1 考虑以taskExecutor方法的submitTask方法为入口,查看调用关系图中并没有提供明显的线索,看RpcTaskManagerGateway所处的包,猜测其位于JobManager,然后...原创 2019-04-23 15:49:44 · 1192 阅读 · 0 评论 -
Flink源码阅读(三)JobManager
简介参照官方文档的描述,可以知道JobManager主要是以一个协调者的身份存在的。The JobManagers (also called masters) coordinate the distributed execution. They schedule tasks, coordinate checkpoints, coordinate recovery on failures, e...原创 2019-04-23 14:42:09 · 358 阅读 · 0 评论 -
Flink源码阅读(五)ClosureCleaner
简介查看flink源码时,发现api中有clean()方法,例如下图所示public <K> KeyedStream<T, K> keyBy(KeySelector<T, K> key) { Preconditions.checkNotNull(key); return new KeyedStream<>(this, clean(key)...原创 2019-05-05 10:53:52 · 1621 阅读 · 0 评论