Spark RDD Partition

1、概念

 RDD内部并行计算的计算单元。尽可能规避Shuffle过程，降低网络开销。

 RDD的数据集在逻辑上被划分为多个分片，每一个分片成为分区，分区的格式决定了并行计算的粒度。每个分区的数值计算都是在一个任务中进行的，因此任务的个数是由RDD（准确来说是作业最后一个RDD）的分区数决定的。

2、原理

 MapReduce里面的网络传输主要在Shuffle阶段，Shuffle的根本原因是相同的key存在不同的节点上，按key进行聚合的时候不得不进行Shuffle。

 Spark把key-value RDD通过key的hashcode进行分区，而且保证相同的key存储在同一个节点上，这样对该RDD进行key聚合时，就不需要Shuffle过程。

 key的分布不均决定了有的分区大有的分区小，没法保证分区完全相等，但它会保证在一个接近的范围。

 进行join的时候是两个表，不可能把两个表都分区好，通常情况下是把用的频繁的大表事先进行分区，小表进行关联它的时候，小表进行Shuffle过程，大表不需要Shuffle。

3、算子

1）能从分区中获益的算子

 cogroup(), groupWith(), join(), leftOuterJoin(), rightOuterJoin(), groupByKey(), reduceByKey(), combineByKey(), lookup().

2）能影响结果RDD分区方式的算子

 Spark内部知道各个操作的影响分区方式，并将会对数据进行分区的操作的结果RDD自动设置对应的分区器。

 cogroup(), groupWith(), join(), leftOuterJoin(), rightOuterJoin(), groupByKey(), reduceByKey(), combineByKey(), partitionBy(), sort(), mapValues()(若父RDD已有分区方式的话), flatMapValues()(若), filter()(若)。

 其他所有操作生成的结果都不会存在特定的分区方式。

4、机制

1）分区原则

 尽可能使分区的个数等于集群核心数目。

 尽可能使同一RDD不同分区内的记录数量一致。

2）分区策略

[1]HashPartitioner

[2]RangePartitioner

[3]Custom：

 扩展Partitioner抽象类，实现里面的三个方法：

 def numPartitions: Int: 这个方法需要返回你想要创建分区的个数

 def getPartition(key: Any): Int: 这个函数需要对输入的key做计算，然后返回该key的分区id，范围一定是0到numPartitions-1

 def equals(other: Any): Boolean: 这个是Java标准的判断相等的函数，之所以要求用户实现这个函数是因为Spark内部会比较两个RDD的分区是否一样。

3）分区记录个数

对于转换操作得到的RDD：

 如果是窄依赖，则分区记录数量依赖于父RDD中相同编号分区的数据分配方式。

 如果是宽依赖，则分区记录数量依赖于选择的分区器，哈希分区器无法保证数据被平均分配到各个分区，范围分区器可以保证。