0004.RDD理解

RDD：弹性分布式数据集，（resilient distributed dataset）

必须背会

特点：

1.A list of partitions

一系列的分片：比如说128M一片，类似与Hadoop中的split

2.A function for computer each split

在每个分片上都有一个函数去迭代、执行、计算它

3.A list of dependencies on other RDDs

一系列的依赖：RDDa转换为RDDb,RDDb转换为RDDc,那么RDDc就依赖于RDDb,RDDb就依赖于RDDa

lineage

4.Optionally,a Partitioner for key-value RDDs(e.g. to say that the RDD is hash-partioned)

对于key-value的RDD可指定一个partitioner,告诉它如何进行分片；常用的有hash,range

5.Optionally, a list of preferred location(s) to compute each split on(e.g. block locations for an HDFS file)

要运行的计算/执行，最好在哪几个机器上运行。数据本地性。

为什么会有几个地方

比如：hadoop默认有3个地方，或者spark cache到内存可能通过StorageLevel设置多个副本，所以一个partition可能返回多个最佳位置

abstract class RDD[T:ClassTag]()

getPartitions:对一个数据集进行计算时，有多少split,进行分片。

分区、计算、依赖

1.分区：每个HDFSblock

2.依赖：无

3.函数：读取每个block

4.最佳位置:HDFS block所在，类似与MapReduce的本地化，

5.分区策略：无