Spark相比MapReduce的优势

MapReduce是Apache Hadoop中用于大规模数据集计算的并行计算框架，目前被广泛应用于企业的离线数据处理上。但是因为种种原因，MapReduce的性能并不理想。而Spark作为数据处理框架界的后起之秀，很多方面都超过了MapReduce。下面来列出MapReduce的不足以及Spark对其的改进。

MapReduce:

• 仅支持Map和Reduce两种操作
• Map中间结果需要写磁盘
• 任务调度和启动开销大
• 无法充分利用内存
• Map和Reduce都需要排序
• 不适合迭代计算

Spark：

• 丰富的API（Java、Scala、Python、R四种语言，sort、join等高效算子）
• DAG执行引擎，中间结果不落盘
• 线程池模型减少task启动开销
• 充分利用内存，减少磁盘IO
• 避免不必要的排序操作
• 适合迭代计算，比如机器学习算法

当然，Spark相比MapReduce还是有一个明显的缺点，就是内存的消耗是比较大的。在超大规模数据集离线计算并且时效性要求不高的情况下可以考虑优先使用MapReduce。