JStorm源码分析(五)Supervisor获取任务

JStorm源码分析(五):Supervisor获取任务

JStorm源码分析文件

对于整个JStorm源码分析系列,我将JStorm源码分析的文件放在我的GitHub上JStorm源码剖析,欢迎大家fork和star

1.在Supervisor的启动过程中,即在mkSupervisor()方法中,源码如下:

这里写图片描述

SyncSupervisorEvent会定时的循环扫描Zookeeper的任务分配目录,看是否有自己的任务,如果 有,那么把对应的信息写到本地(Supervisor)机器的指定目录中,这个工作主要是有 SyncSupervisorEvent 线程中的run方法来完成的。

2.SyncSupervisorEvent 的成员信息

这里写图片描述

3.任务配置信息Assignment对象所包含的相关信息

这里写图片描述

这里写图片描述

3.SyncSupervisorEvent 的run()方法

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

4.getAllAssignments()获取所有的任务信息,放入本地库中

这里写图片描述
这里写图片描述

5.syncProcesses.run(zkAssignment, downloadFailedTopologyIds)

这里写图片描述

这里写图片描述

相关系列文章

JStorm源码分析(一)Storm执行脚本

JStorm源码分析(二)Storm任务提交流程

JStorm源码分析(三)Nimbus的任务分配过程

JStorm源码分析(四)Storm集群启动过程

JStorm源码分析(六)Supervisor启动Worker的过程

JStorm源码分析(七)Excutor启动和创建

微信公众号

有兴趣的同学可以关注小编哟!
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值