storm
文章平均质量分 66
波波happy
这个作者很懒,什么都没留下…
展开
-
IRichBolt和IBasicBolt对比
作为storm的使用者,有两件事情要做以更好的利用storm的可靠性特征。 首先,在你生成一个新的tuple的时候要通知storm; 其次,完成处理一个tuple之后要通知storm。 这样storm就可以检测整个tuple树有没有完成处理,并且通知源spout处理结果。storm提供了一些简洁的api来做这些事情。 由一个tuple产生一个新的tuple称为: anchoring。你发射一个新...原创 2018-04-04 16:45:04 · 262 阅读 · 0 评论 -
storm transactional
Transactional topology是一个0.9版本中被弃用的原语,取而代之的是trident框架。 Storm通过保证每个tuple至少被处理一次来提供可靠的数据处理。关于这一点最常被问到的问题就是“既然tuple可能会被再次发送(replay), 那么我们怎么在storm上面做统计个数之类的事情呢?storm有可能会重复计数(overcount)吧?” Storm 0.7.0引入了...翻译 2018-06-06 10:29:12 · 171 阅读 · 0 评论 -
storm trident
Trident是在storm基础上,一个以实时计算为目标的高度抽象。 它在提供处理大吞吐量数据能力(每秒百万次消息)的同时,也提供了低延时分布式查询和有状态流式处理的能力。 如果你对Pig和Cascading这种高级批处理工具很了解的话,那么应该很容易理解Trident,因为他们之间很多的概念和思想都是类似的。Tident提供了 joins, aggregations, grouping, fun...翻译 2018-06-06 11:00:40 · 605 阅读 · 0 评论 -
storm tridentAPI
“Stream”是Trident中的核心数据模型,它被当做一系列的batch来处理。在Storm集群的节点之间,一个stream被划分成很多partition(分区),对流的操作(operation)是在每个partition上并行进行的。 注: ①“Stream”是Trident中的核心数据模型:有些地方也说是TridentTuple,没有个标准的说法。 ②一个stream被划分成很多pa...翻译 2018-06-06 11:24:52 · 154 阅读 · 0 评论 -
storm1.1.1安装
1.下载 apache-storm-1.1.1.tar.gz http://www.apache.org/dyn/closer.lua/storm/apache-storm-1.1.1/apache-storm-1.1.1.tar.gz 2.上传到soft目录下,解压,修改名称为storm tar zxf apache-storm-1.1.1.tar.gz mv apache-st...原创 2018-09-14 15:42:50 · 722 阅读 · 0 评论