Spark之RDD的理解及概述

1.首先要了解什么是RDD

RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、弹性、里面的元素可并行计算的集合。
【在 Spark 中，对数据的所有操作不外乎创建 RDD、转化已有RDD 以及调用 RDD 操作进行求值。】

2.那RDD为什么会产生？

Hadoop中MapReduce是一种基于数据集的工作模式，面向数据，这种工作模式一般是从存储上加载数据集，然后操作数据集，最后写入物理存储设备。数据更多面临的是一次性的处理。
MR这种数据方式对迭代式算法和交互式数据挖掘不高效。
迭代式的算法比如机器学习中ALS、凸优化梯度下降等这些都需要基于数据或者数据集的衍生数据反复查询反复操作。即使MR串行处理，性能和时间也是一个问题，数据的共享依赖于磁盘。
MR中的迭代：

由图中可知，MR的迭代必然伴随着大量的磁盘读写操作，效率低下
Spark中的迭代：