spark 分区器

spark 分区器

注意：只有Key-Value类型的RDD才有分区器，非Key-Value类型的RDD分区的值是None

分区器的种类

Spark目前支持Hash分区和Range分区（和排序相关的），和用户自定义分区

若工作中使用到分区器，Hash分区器被使用到的的几率75%，Range分区25%，自定义分区5%

HashPartitioner 分区的原理

对于给定的key，计算其hashCode，并对分区的个数取余

缺点：极端情况下会导致某些分区拥有RDD的全部数据

RangePartitioner 分区的原理

简单的说就是将一定范围内的数映射到某一个分区内，分区与分区之间是有序的，一个分区中的元素肯定都是比另一个分区内的元素小或者大，但是分区内的元素是不能保证有序

注意：该分区器要求RDD中的key类型必须是可以排序的

实现过程为

第一步：先从整个RDD中采用水塘抽样算法，抽取出样本数据，将样本数据排序，计算出每个分区的最大key值，形成一个Array[KEY]类型的数组变量rangeBounds

第二步：判断key在rangeBounds中所处的范围，给出该key值在下一个RDD中的分区id下标

3种分区器的代码演示

Spark partitionBy