JStorm源码分析
Jerry_Fu24
这个作者很懒,什么都没留下…
展开
-
JStorm-2.1.1源码分析--Topology提交(下)
上篇文章已经介绍了ServiceHandler.submitTopologyWithOpts()方法,在该方法中,会实例化一个TopologyAssignEvent,相当于创建了一个topology级别的作业,然后将其保存到TopologyAssign的任务队列中,具体代码如下: TopologyAssign是Jstorm一个任务分配器,它会根据配置和Topology中sp原创 2016-06-10 14:17:06 · 3396 阅读 · 0 评论 -
JStorm-2.1.1源码分析--Topology提交(上)
Topology提交前会先判断集群中是否存在同名作业,如果存在在提交失败,如果没有则会增加集群提交次数SubmittedCount,每次提交成功,该变量都会加1,然后会为该作业分配一个id,生成规则如下: 因此我们从作业id中就可以判断集群作业成功提交次数、提交时间、还有作业名称了,如果我们没有指定acker数量,对topology本身的校验比较细致: 1、原创 2016-06-10 12:39:07 · 1262 阅读 · 0 评论 -
JStorm-2.1.1源码分析--Topology提交(中)
一个topology包含一或多个spout bolt,spout负责在数据源获得数据并发送给bolt,每个bolt负责做完处理后发给下一个bolt。通常topology的创建是由TopologyBuilder来创建的,该组件会记录包含哪些spout bolt,并做相应验证:各组件是否有id冲突,校验方法如下: TopologyBuilder会保存各个组件到相应的数据结构中原创 2016-06-10 11:51:15 · 1698 阅读 · 0 评论