今天结合JStorm官方Demo,进一步研磨学习了JStorm提交任务到分配任务的过程,下面是自己的一些认识与理解。
Topology是JStorm对有向无环图的抽象,其内部封装了数据源spout和数据处理对象bolt,以及spout和bolt、bolt和bolt之间的关系。
1) Demo中SequenceTopology对象的SetBuilder(TopologyBuilder builder, Map conf)方法根据用户提交到JStorm集群的配置文件,使用TopologyBuilder方法构造Topology的spout和bolt,以及spout和bolt之间的关系,Demo中主要是SequenceSpout、MergerRecord、SplitRecord、PairCount、TotalCount之间的订阅关系。
2) TopologyBuilder构造好Topology之后,通过Jstorm Client的StormSubmitter.submitTopology(streamName, conf,builder.createTopology())提交Topology到Jstorm集群。
3) 提交成功后,NimbusServer通过ServiceHandler.submitTopologyWithOpts(String topologyname, String uploadedJarLocation, String jsonConf, StormTopology topology, SubmitOptions options)方法处理接收到的topology,并在该方法中实例化一个TopologyAssignEvent,相当于创建了一个topology作业,然后将其保存到TopologyAssign的任务队列中。
4) TopologyAssign是Jstorm的一个任务分配器,它会根据配置和Topology中spout和bolt以及bolt相互之间的关系来进行Task的创建和分配,但是具体任务的创建和分配并非TopologyAssign自身完成的,而是调用Jstorm的调度器完成的, Jstorm允许用户根据自己的业务需求自定义调度器。该类是一个实现了Runnable接口的后台线程,随着Nimbus启动,主要完成topology作业分配、备份和作业均衡的作用,它的run方法采用阻塞的方式获取自身作业队列中的作业,然后进行作业分配。
5) NimbusServer将任务分配好后,并且创建到ZK上,此时就需要supervisor认领自己的任务了,supervisor获取任务的具体逻辑封装在SyncSupervisorEvent中,其也是一个后台线程,会不停获取ZK上(JSTORM_ROOT/assignments下)的任务,然后把自己的任务保存到本地磁盘上,再通过NimbusClient把topology的代码保存到本地,然后启动worker线程来执行任务,Demo中主要是执行一些拆分(split)和统计(count)作业。
6) SyncSupervisorEvent将自己的作业选出来,并保存到本地之后,再由SyncProcessEvent来启动worker执行具体的作业,SyncProcessEvent主要干两件事,启动新的worker,杀死无用的worker。当然,执行结果还要通过Ack机制向被订阅者返回,以保证task被成功执行。
Jstorm提交任务的流程
最新推荐文章于 2021-01-26 04:15:35 发布