1.Spark在运算过程中将中间数据存放在内存,迭代计算的效率更高;MapReduce在计算过程中需要先将结果落地,保存到磁盘中,这样的话必然会有磁盘的IO操作,影响其性能。 2.Spark容错性搞,它通过弹性分布式数据集RDD来实现高校容错,RDD是一组分布式的存储在节点内存中的只读性质的数据集,这些集合是弹性的,某一部分丢失或者出错,可以通过整个数据集的计算流程的学院关系来实现重建。而MapReduce的容错可能只能重新计算,成本较高。 3.Spark相比较MapReduce更加通用和灵活,Spark提供了transformation和action这两大类的多个功能api,另外还有流式处理sparkstreaming模块,图计算等等。而MapReduce只提供了map和reduce两种操作,流计算以及其他模块的支持比较缺乏。 4.spark框架和生态更为复杂,首先有RDD、血缘lineage、执行时的有向无环图DAG、stage划分等等,很多时候spark作业都需要根据不同业务场景的需要进行调优已达到性能要求;mapreduce框架及其生态相对较为简单,对性能的要求也相对较弱,但是运行较为稳定,适合长期后台运行。 总结,spark生态更为丰富,功能更为强大、性能更佳,适用范围更广;mapreduce更简单、稳定性好、适合离线海量数据挖掘计算。