spark 分区器
注意:
只有Key-Value类型的RDD才有分区器,非Key-Value类型的RDD分区的值是None
分区器的种类
Spark目前支持Hash分区
和Range分区(和排序相关的)
,和用户自定义分区
若工作中使用到分区器,Hash分区器被使用到的的几率75%,Range分区25%,自定义分区5%
HashPartitioner 分区的原理
对于给定的key,计算其hashCode,并对分区的个数取余
缺点:
极端情况下会导致某些分区拥有RDD的全部数据
RangePartitioner 分区的原理
简单的说就是将一定范围内的数映射到某一个分区内,分区与分区之间是有序的,一个分区中的元素肯定都是比另一个分区内的元素小或者大,但是分区内的元素是不能保证有序
注意:
该分区器要求RDD中的key类型必须是可以排序的
实现过程为
第一步:先从整个RDD中采用水塘抽样算法,抽取出样本数据,将样本数据排序,计算出每个分区的最大key值,形成一个Array[KEY]类型的数组变量rangeBounds
第二步:判断key在rangeBounds中所处的范围,给出该key值在下一个RDD中的分区id下标