RDD与MapReduce对比

一. MapReduce的缺点

        MapReduce给我们展示了一个简单通用和自动容错的批处理计算模型，但是对于其他类型的计算，比如迭代式、交互式和流式计算，MapReduce并不适合，其主要原因是MapReduce缺乏一种特性，即在并行计算的各个阶段进行有效的数据共享。

        MapReduce将计算构建成一个有向无环图的任务集，而这只能允许它们有效地重新计算部分DAG，在单独的计算之间（在迭代的计算步骤之间），除了复制文件，这些模型没有提供其他的存储抽象，这就显著地增加了在网络间复制文件的代价。

二. RDD的优势

        RDD的本质即是在并行计算的各个阶段进行有效的数据共享，利用这种有效的数据共享和类似的操作接口，RDD能够适应当前大部分的数据并行算法和编程模型，如下面四种模型：

        1）迭代算法：这是目前专有系统实现的非常普遍的一种应用场景,比如选代算法可以用于图处理和机器学习，RDD能够很好地实现这些模型。

        2）关系型查询：对于MapReduce来说非常重要的需求就是运行SQL查询,包括长期运行、数小时的批处理作业和交互式的查询。然而对于MapReduce而言,对比并行数据库进行交互式查询,有其内在的缺点,比如由于其容错的模型而导致速度很慢。利用RDD模型,可以通过实现许多通用的数据库引擎特性,从而获得非常好的性能。

        3）MapReduce批处理：RDD提供的接口是的超集,所以RDD可以有效地运