Storm
张包峰
Distributed Computing
展开
-
Storm可靠性及事务性相关设计: Acker及Trident State
上面这件事一般IBasicBolt可以罩住,更多的方法可以使用IRichBolt。一个topology里面的acker数量是可以设置的,然后tuple比较多的话可以多设置几个acker,提高效率。每个tuple有一个64位的id,acker利用这个id来追踪tuple,且会知道这个tuple他的祖宗们,也就是只要继续跟踪新的tuple就可以了,因为祖宗的id会被传递下去。storm用一致性哈希来把spout-tuple-id对应给acker,因为tuple知道自己的祖宗,所以他可以算出通知哪个acker翻译 2013-12-30 20:56:56 · 4983 阅读 · 0 评论 -
Storm源码结构 (来源Storm Github Wiki)
本文译自Storm Github Wiki: Structure of the codebase,有助于深入了解Storm的设计和源码学习。本人也是参照这个进行学习的,觉得在理解Storm设计的过程中起到了重要作用,所以也帖一份放在自己博客里。以下的模块分析里没有包括Storm 0.9.0增加的Netty模块,对应的代码包在Storm Github下的storm-netty文件夹内,内容比较简单,关于这块的release note可以参考Storm 0.9.0 Released Netty Transpor翻译 2013-12-30 16:17:33 · 5043 阅读 · 0 评论 -
In-Stream Big Data Processing译文:流式大数据处理
转自:http://blog.csdn.net/idontwantobe/article/details/25938511原文:http://highlyscalable.wordpress.com/2013/08/20/in-stream-big-data-processing/作者:Ilya Katsov相当长一段时间以来,大数据社区已经普遍认识到了批量数据处理的不足。转载 2014-05-18 23:24:19 · 3871 阅读 · 0 评论