spark05

自定义排序

spark中对简单的数据类型可以直接排序,但是对于一些复杂的条件加以利用自定义排序实现

键值对rdd数据分区

spark目前支持hash分区和range分区,用户也可以自定义分区,hash分区为当前的默认分区,spark中分区器直接决定了rdd中分区的个数,rdd中每条数据经过shuffle过程属于那个分区和reduce的个数

hashpartitioner

spark中非常重要的一个分区器,也是默认分区器,默认用于90%以上的rdd相关api上

功能:依据rdd中的key值的hashcode的值将数据取模后得到该key值对应的下一个rdd的分区id值,支持key值为null的情况,当key为null的时候返回0;该分区器基本上适合所有rdd数据类型进行分区操作,但是需要注意的是,由于java中数组的hashcode基本数组对象本身的,不是基于数组内容的,所以如果rdd的key 是数组类型,那么可能导致数据类容一致的数据key没法分配到一同一个rdd分区中,这个时候最好自定义分区器,采用数组内容进行分区或者将数组的内容转换为集合,

对于给定的key,计算hashcode ,并用于分区的个数取余,如果余数小于0,则用余数+分区的个数,最后返回的的值就是这个key所属的分区ID

rangepartitioner

sparkcore中除了hashpartitioner分区器外另一个比较重要的已经实现的分区器,主要用于rdd的数据排序相关API中

比如sortByKey底层使用的数据分区器就是rangepartitioner分区器;该分区实现方式主要是通过两个步骤来实现,第一步,先从整个rdd中抽取出样本数据,将样本数据排序,计算每个分区的最大key值,形成一个Array[KEY]类型的数组变量rangeBounds;第二步:判断key在rangebounds中所处的范围,给出key值在下一个rdd中的分区id下标,;分区器要求rdd中的key类型必须是可以排序的,

将一定范围内的数映射到一个分区内,