storm
rainforc
这个作者很懒,什么都没留下…
展开
-
storm的ack机制
我们知道,Storm保证发出的每条消息都能够得到完全处理,也就是说,对于从Spout发出的每个tuple,该tuple和其产生的所有tuple(整棵tuple树)都被成功处理。如果在应用设定的超时时间之内,这个tuple没有处理成功,则认为这个tuple处理失败了。tuple处理成功还是失败,Storm又是怎么知道的呢? 原来Storm中有一类叫Acker的task,它会对tuple树...原创 2016-03-12 17:44:38 · 288 阅读 · 0 评论 -
Storm线程进程分配方法
运行中的Topology主要由以下三个组件组成的: Worker processes(进程) Executors (threads)(线程) Tasks 其中进程数除以机器数可以得到每台机器的进程数,我们以一台机器为例: Spout或者Bolt的Task个数一旦指定之后就不能改变了,而Executor的数量可以根据情况来进行动态的调整。默认情况下# executor = #t...原创 2016-03-12 17:44:54 · 187 阅读 · 0 评论