spark之RDD的理解

RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它存储的元数据信息，真正的数据在partition分区中，一个RDD中有多个分区，一个分区在executor节点上执行，他就是一个迭代器，一个分区在一台机器上，一台机器可以有多个分区，我们操作的是分布在多台机器上的数据，而RDD是一个代理，对RDD进行操作其实就是对分区进行操作，就是对每一台机器上的迭代器进行操作，因为迭代器保存着我们要操作的数据！

五大特性：

A list of partitions

一系列分区，是数据集的基本组成单位

A function for computing each split

一个函数作用于每个分区.map（t=>(t,1)）

A list of dependencies on other RDDs

每个RDD是有依赖关系的(下一个算子的计算依赖于上一个算子的结果)

Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)

如果RDD里面的数据是Key,value类型的，会有hashpartitioner(分区器)

作用于该RDD（可能导致分区数据不平衡）

分区原理：根据key，求出其的hashcode值，除于分区数，如果余数为负数，则余数加分区数就是其对应的分区ID

Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file)

存储每个分区的数据的时候，会有一个最优位置，如果是读取HDFS的文件，按照移动数据不如移动计算的概念

就是说Spark进行任务调度的时候，会尽可能将计算任务分配到其所要的数据存储单位，（优先处理本节点的数据，跨节点读取数据会产生磁盘IO消耗，）