本文介绍了Storm，一个由Twitter开源的实时数据处理系统，对比了它与Hadoop的区别，并详细解析了Storm的核心概念，包括Topology、Nimbus、Supervisor、Worker、Executor、Task、Spout和Bolt等，阐述了其处理过程和Stream分组策略。
简介
Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架。
Storm能实现高频数据和大规模数据的实时处理。官网资料显示storm的一个节点1秒钟能够处理100万个100字节的消息(IntelE5645@2.4Ghz的CPU,24GB的内存)
Storm与Hadoop比较
数据来源：HADOOP处理的是HDFS上TB级别的历史数据数据，STORM处理的是实时新增的某一笔实时数据；
处理过程：HADOOP是分MAP阶段到REDUCE阶段，STORM是由用户定义处理流程，流程中可以包含多个步骤，每个步骤可以是数据源(SPOUT)或处理逻辑(BOLT)；
是否结束：HADOOP最后是要结束的，STORM是没有结束状态，到最后一步时，就停在那，直到有新数据进入时再从头开始；
处理速度：HADOOP是以处理HDFS上TB级别数据为目的，处理速度慢，STORM是只要处理新增的某一笔数据即可，可以做到很快；
适用场景：HADOOP是在处理批量数据时用的，不讲究时效性，STORM是处理某一新增数据时用的，讲时效性。
Storm中的一些核心概念
Topology：一个实时计算应用程序逻辑上被封装在Topology对象中，类似Hadoop中的作业。与作业不同的是，Topology会一直运行直到显示的杀死它。
Nimbus：负责资源分配和任务调度，类似Hadoo
最低0.47元/天 解锁文章
624
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
