- 博客(5)
- 收藏
- 关注
RSS订阅原创 Flink源码阅读(五)ClosureCleaner
简介查看flink源码时,发现api中有clean()方法,例如下图所示public <K> KeyedStream<T, K> keyBy(KeySelector<T, K> key) { Preconditions.checkNotNull(key); return new KeyedStream<>(this, clean(key)...
2019-05-05 10:53:52
1650
原创 Flink源码阅读(四)JobManager和TaskManager的rpc
引言我们知道，jobmanager和taskmanager在集群模式下,是部署在不同机器上面的,那么现在就有一个问题,jobmanager和taskmanager是如何相互调用的。分析切入点1 考虑以taskExecutor方法的submitTask方法为入口，查看调用关系图中并没有提供明显的线索,看RpcTaskManagerGateway所处的包,猜测其位于JobManager,然后...
2019-04-23 15:49:44
1227
原创 Flink源码阅读(三)JobManager
简介参照官方文档的描述,可以知道JobManager主要是以一个协调者的身份存在的。The JobManagers (also called masters) coordinate the distributed execution. They schedule tasks, coordinate checkpoints, coordinate recovery on failures, e...
2019-04-23 14:42:09
378
原创 Flink源码阅读(二)TaskManager
TaskManager简介通过前面的分析可以知道taskManager的入口是org.apache.flink.runtime.taskexecutor.TaskManagerRunner类，而且类上的注释也指明了这一点。This class is the executable entry point for the task manager in yarn or standalone mo...
2019-04-22 21:28:32
711
原创 Flink源码阅读(一)源码环境搭建
一 引言 Flink源码本身比较复杂，我打算以Flink的Standalone模式为入口，研究当一个jar包被提交进Flink后,flink如何处理的过程。二 环境搭建 搭建过程可以参考官方文档 https://ci.apache.org/projects/flink/flink-docs-release-1.8/ops/depl...
2019-04-20 18:57:49
4366
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人