spark相比MapReduce的优势

spark 比Hadoop快的原因：数据本地性、调度优化、传输优化，最主要的是基于内存计算和引入了DAG。Hadoop的计算结果在磁盘中，spark是在内存中；数据计算任务需要多个步骤时，Hadoop需要引入Oozie等工具，但是spark有DAG

Hadoop中，每一个job 的计算结果都会存储在hdfs中，所以每一步计算都要进行硬盘的IO，大大增加了系统的延迟。

对rdd的操作可以像函数式编程中操作内存中的集合一样直观，简便

MapReduce会将中间数据存放于硬盘中，而spark会把中间数据缓存在内存中，从而减少了很多IO导致的延迟，而且spark把迭代过程中每一步的计算结果都缓存在内存中，所以非常适合各类迭代算法

在任务（task）级别，spark的并行机制是多线程模型，而MapReduce是多进程模型

spark 随时可以把计算好的rdd缓存在内存中，以便下次计算时使用，大幅度减少了硬盘读写的开销，而且缓存rdd的时候，它所有的依赖关系也会被一并存下来，所以持久化的rdd有自动的容错机制，如果rdd的任一分区丢失了，通过使用原先创建它的转换操作，它将会被自动重算

同时惰性求值的设计可以让spark的运算更加高效和快速。比如在行动操作first()的时候开始真正的运算，只扫描第一个匹配的，不需要读取整个文件。
参考：
http://f.dataguru.cn/thread-629612-1-1.html
http://lxw1234.com/archives/2016/05/666.htm