Forrestleo的博客

一、简介spark中用于排序的算子主要有两个，sortByKey与sortBy，其中sortBy是引用sortByKey来实现的。下面主要对sortByKey算子进行分析，该方法的实现代码如下： def sortByKey(ascending: Boolean = true, numPartitions: Int = self.partitions.length) : RDD[(K, V)] =

Spark版本推进到2.0，其在shuffle时提供的partitioner主要有两种，HashPartitioner与RangePartitioner。本文主要对RangePartitioner的实现作一简单说明。