深入理解RDD

GitHub中Spark地址：https://github.com/apache/spark

GitHub中Spark-RDD地址：https://github.com/apache/spark/tree/master/core/src/main/scala/org/apache/spark/rdd

<一>.什么是RDD：

RDD(Resilient Distributed Datasets),弹性分布式数据集， 是分布式内存的一个抽象概念，RDD提供了一种高度受限的共享内存模型，即RDD是只读的记录分区的集合，只能通过在其他RDD执行确定的转换操作（如map、join和group by）而创建，然而这些限制使得实现容错的开销很低。对开发者而言，RDD可以看作是Spark的一个对象，它本身运行于内存中，如读文件是一个RDD，对文件计算是一个RDD，结果集也是一个RDD ，不同的分片、 数据之间的依赖 、key-value类型的map数据都可以看做RDD。

<二>RDD五大特性在源码中的体现：

 (1)*  - A list of partitions
 一个RDD是由很多的分区构成的
 (2)*  - A function for computing each split/partitions
 对一个RDD进行的转换其实就是对RDD里面的每个partition进行操作的
 (3)*  - A list of dependencies on other RDDs
 RDD之间是有一个依赖关系的
 (4)*  - Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)
 可选项，如果RDD里面存的数据是key-value形式，则可以传递一个自定义的Partitioner进行重新分区，例如这里自定义的Partitioner是基于key进行分区，那则会将不同RDD里面的相同key的数据放到同一个partition里面
 (5)*  - Optionally, a list of preferred locations to compute each split on (e.g. block locations for
 *    an HDFS file)
 可选项，数据本地性