Spark中决定Shuffle到哪个分区及Reduce个数的核心：HashPartitioner和RangePartitioner分区器

1、Spark的分区器：主要有HashPartitioner和RangePartitioner两种

• 决定了RDD中每条数据经过Shuffle过程属于哪个分区；
• 也决定了Reduce的个数。

（只有Key-Value类型的RDD才有分区的，非Key-Value类型的RDD分区的值是None的）

2、HashPartitioner

实现：对于给定的key，计算其hashCode，并除于分区的个数取余，如果余数小于0，则用余数+分区的个数，最后返回的值就是这个key所属的分区ID。

由于hashCode碰撞的存在，极端情况下可能会出现数据倾斜

3、RangePartitioner

如同其Ranger，划分出一个一个的范围，将符合其范围的数据预先Shuffer到指定的Range分区内，为保证每个分区中数据量的均匀，而且分区与分区之间是有序的(注意：元素接到进来是无序的，只是分区的大小是有序)，也就是说一个分区中的元素肯定都是比另一个分区内的元素小或者大；但是分区内的元素是不能保证顺序的。简单的说就是将一定范围内的数映射到某一个分区内