Spark与MapReduce的区别是什么？

Spark和MapReduce都是可以处理海量数据，但是在处理方式和处理速度上存在着差异，总结如下：

1.spark处理数据是基于内存的，而MapReduce是基于磁盘处理数据的。

  MapReduce是将中间结果保存到磁盘中，减少了内存占用，牺牲了计算性能。

  Spark是将计算的中间结果保存到内存中，可以反复利用，提高了处理数据的性能。
 

2.Spark在处理数据时构建了DAG有向无环图，减少了shuffle和数据落地磁盘的次数

  Spark 计算比 MapReduce 快的根本原因在于 DAG 计算模型。一般而言，DAG 相比MapReduce 在大多数情况下可以减少 shuffle 次数。Spark 的 DAGScheduler 相当于一个改进版的 MapReduce，如果计算不涉及与其他节点进行数据交换，Spark 可以在内存中一次性完成这些操作，也就是中间结果无须落盘，减少了磁盘 IO 的操作。但是，如果计算过程中涉及数据交换，Spark 也是会把 shuffle 的数据写磁盘的！有一个误区，Spark 是基于内存的计算，所以快，这不是主要原因，要对数据做计算，必然得加载到内存，Hadoop 也是如此，只不过 Spark 支持将需要反复用到的数据给 Cache 到内存中，减少数据加载耗时，所以 Spark 跑机器学习算法比较在行（需要对数据进行反复迭代）

3.Spark是粗粒度资源申请，而MapReduce是细粒度资源申请

  粗粒度申请资源指的是在提交资源时，spark会提前向资源管理器（yarn，mess）将资源申请完毕，如果申请不到资源就等待，如果申请到就运行task任务，而不需要task再去申请资源。

  MapReduce是细粒度申请资源，提交任务，task自己申请资源自己运行程序，自己释放资源，虽然资源能够充分利用，但是这样任务运行的很慢。

https://blog.csdn.net/JENREY/article/details/84873874