- 博客(3)
- 收藏
- 关注
RSS订阅翻译 storm tridentAPI
“Stream”是Trident中的核心数据模型，它被当做一系列的batch来处理。在Storm集群的节点之间，一个stream被划分成很多partition（分区），对流的操作（operation）是在每个partition上并行进行的。 注： ①“Stream”是Trident中的核心数据模型：有些地方也说是TridentTuple，没有个标准的说法。 ②一个stream被划分成很多pa...
2018-06-06 11:24:52
154
翻译 storm trident
Trident是在storm基础上，一个以实时计算为目标的高度抽象。 它在提供处理大吞吐量数据能力（每秒百万次消息）的同时，也提供了低延时分布式查询和有状态流式处理的能力。 如果你对Pig和Cascading这种高级批处理工具很了解的话，那么应该很容易理解Trident，因为他们之间很多的概念和思想都是类似的。Tident提供了 joins, aggregations, grouping, fun...
2018-06-06 11:00:40
606
翻译 storm transactional
Transactional topology是一个0.9版本中被弃用的原语，取而代之的是trident框架。 Storm通过保证每个tuple至少被处理一次来提供可靠的数据处理。关于这一点最常被问到的问题就是“既然tuple可能会被再次发送(replay), 那么我们怎么在storm上面做统计个数之类的事情呢？storm有可能会重复计数(overcount)吧？” Storm 0.7.0引入了...
2018-06-06 10:29:12
171
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人