Spark排序算法之二次排序

二次排序具体实现步骤：

1. 按照Ordered和serrializable接口实现自定义排序key
2. 将要进行二次排序的文件假造进来生成<key,value>类型的RDD
3. 使用sortbykey基于自定义的key进行二次排序
4. 去除掉排序的key,只保留排序的结果

源码如下 

import org.apache.spark.{SparkConf, SparkContext}

class SecondarySortKey(val first: Int, val second: Int) extends Ordered[SecondarySortKey] with Serializable {
  def compare(other: SecondarySortKey): Int = {
    if(this.first - other.first != 0){
      this.first - other.first
    }else{
      this.second - other.second
    }
  }
}

object SecondarySortApp {
  def main(args: Array[String]) {
    val conf = new SparkConf()
      .setAppName(s"${this.getClass.getSimpleName}")
      .setMaster("local[*]")
    val sc = new SparkContext(conf)
    val keyWord = sc.textFile("")
    val pariWithSortKey = keyWord.map(line => (
      new SecondarySortKey(line.split("")(0).toInt, line.split("")(1).toInt), line
    ))
    val sorted = pariWithSortKey.sortByKey(false)
    val sortedResult = sorted.map(sortedLine => sortedLine._2)

    sortedResult.collect().foreach(println)
  }
}

 Ordered和Ordering的区别

 Ordering继承了java中的Comparator接口，而Ordered继承了java的Comparable接口。

而在java中的Comparator是一个外部比较器（需要定义一个类来实现比较器），而Comparable则是一个内部比较器，在类内部重载compareTo函数