Spark深入解析（四）：SparkCore之RDD概述

什么是RDD

RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合。

弹性分布式数据集（保存在内存中）

• 弹性：RDD中的数据可以保存在内存中或者磁盘里面。
• 分布式：分布式存储的，可以用于分布式计算。
• 数据集：一个几个，可以存放很多元素

为什么要有RDD
  在许多迭代式算法(比如机器学习、图算法等)和交互式数据挖掘中，不同计算阶段之间会重用中间结果，即一个阶段的输出结果会作为下一个阶段的输入。但是，之前的MapReduce框架采用非循环式的数据流模型，把中间结果写入到HDFS中，带来了大量的数据复制、磁盘IO和序列化开销。且这些框架只能支持一些特定的计算模式(map/reduce)，并没有提供一种通用的数据抽象。
  AMP实验室发表的一篇关于RDD的论文:《Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing》就是为了解决这些问题的
  RDD提供了一个抽象的数据模型，让我们不必担心底层数据的分布式特性，只需将具体的应用逻辑表达为一系列转换操作(函数)，不同RDD之间的转换操作之间还可以形成依赖关系，进而实现管道化，从而避免了中间结果的存储，大大降低了数据复制、磁盘IO和序列化开销，并且还提供了更多的API(map/reduec/filter/groupBy…)

RDD的主要属性

1、A list of partitions

• 数据集的基本组成单位，一组分区或分片
• 每个分片（分区）都会被一个计算任务处理，分片数决定并行度（与Kafka相同）
• 用户可以在创建RDD时指定RDD的分片个数，如果没有指定，那么就会采用默认值（默认值为2）

2、A function for computing each split

• 一个函数会被作用在每一个分区/分片
• Spark中RDD的计算是以分区为单位的，compute函数会被作用到每个分区上

3、A list of dependencies on other RDDs

• 一个RDD会依赖于其他多个RDD
• RDD的每次转换都会生成一个新的RDD
• RDD之间会形成类似于流水线（血缘/血统）一样的前后依赖关系
• 部分分区数据丢失时，Spark可以通过依赖关系重新计算丢失的分区数据，而不需要对RDD的所有分区进行重新计算（Spark的容错机制）

4、Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)

• Spark中的分区函