Hadoop与Storm的对比

1、Hadoop上运行的是MapReduce jobs，而在Storm上运行的是topology。

2、 Hadoop使用磁盘作为中间交换的介质，而storm的数据是一直在内存中流转。

3、hadoop的数据源是HDFS上某文件夹下已经存在的TB级的大数据，待处理的数据是相对不变的；而Storm的数据源是实时新增的B或KB级的小数据，处理的数据是支持增加的。

4、一个MapReduce job数据处理完后会自动结束， 而一个topology数据处理完后会一直等待下一个数据的到来，不会自动停止(除非你手动强制停止)。

5、hadoop擅长批处理、吞吐量大、做全量数据的离线分析，Storm的优势是数据的实时分析，以实时性高被广泛应用，单位时间内的吞吐量要小于hadoop。

6、对比Hadoop的批处理，Storm是一个实时处理计算框架，是针对在线业务而存在的计算平台。同Hadoop一样Storm也可以处理大批量的数据，然而Storm在保证高可靠性的前提下还可以让处理进行的更加实时。Storm同样具备容错和分布计算这些特性。Storm易于扩展，随着业务的发展，数据量、计算量的增大，只需要添加机器和改变对应的topology(拓扑)设置。Storm使用Zookeeper进行集群协调，充分保证集群的稳定运行。Storm一旦递交topology就会一直运行，直到topology被废除或者被关闭。而在执行中出现错误时，也会由Storm重新分配任务，一个节点挂了不能影响我的应用。

7、Hadoop下的Map/Reduce计算框架对于数据的处理流程是：

(1) 将要处理的数据上传到Hadoop的文件系统HDFS中。

(2) Map阶段: 对于大