- 博客(2)
- 资源 (3)
- 收藏
- 关注
原创 Storm Trident API 实践
一、概要 1.1 Storm(简介) Storm是一个实时的可靠地分布式流计算框架。 具体就不多说了,举个例子,它的一个典型的大数据实时计算应用场景:从Kafka消息队列读取消息(可以是logs,clicks,sensor data)、通过Storm对消息进行计算聚合等预处理、把处理结果持久化到NoSQL数据库或者HDFS做进一步深入分析。 1.2 Tride
2014-11-14 14:53:54 6014 2
原创 Storm集群中运行的各种组件及其并行
一、Storm中运行的组件 我们知道,Storm的强大之处就是可以很容易地在集群中横向拓展它的计算能力,它会把整个运算过程分割成多个独立的tasks在集群中进行并行计算。在Storm中,一个task就是运行在集群中的一个Spout或Bolt实例。 为了方便理解Storm如何并行处理我们分给它的任务,这里我先介绍一下在集群中涉及到Topology的四种组件:
2014-11-13 16:33:44 4380
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人