开源分布式计算框架比较

    目前，比较流行的开源分布式计算框架主要有Hadoop MapReduce，Spark Streaming，Storm。这三个框架各有千秋，适合不同的场景。本文对三种框架进行多方面的简单比较。

    --->  Hadoop MapReduce    

            Hadoop MapReduce使用于大批量的集群任务，由于批量执行，故其时效性比较差。原生Java语言开发。

　 --->   Spark Streaming

　　　　Spark Streaming保留了Hadoop MapReduce的优点，其时效性有了很大提高。计算过程中，中间结果可以保存在内存中，从而对需要迭代计算和有较高时效性要求的系统提供很好的支持，多用于能容忍小延时的推荐和计算系统。

　 --->　Storm

　　　　Storm 一开始就是为实时处理设计，因此在实时分析/性能监测等需要高时效性的领域广泛采用，而且它理论上支持所有语言，只需要少量代码即可完成适配器。

 

下面的表格是对三者部分特性的比较，描述时间为 2015-5-3，三个项目均处于快速迭代中，文中描述特性会随时产生变化，如果与官方文档产生出入以官方文档为准。

 

参考：

　　http://www.36dsj.com/archives/34666。

转载于:https://www.cnblogs.com/tongerpeng/p/4895330.html