Spark sortByKey

Spark sortByKey功能

按照Key进行排序

案例演示

需求：对val rdd: RDD[(Int, String)] =sc.makeRDD(List((3, “aa”), (6, “cc”), (2, “bb”), (1, “dd”)))按key进行升序和降序排序，然后输出到控制台，形式如下

(1,dd)(2,bb)(3,aa)(6,cc)
**************************************
(6,cc)(3,aa)(2,bb)(1,dd)

package com.xcu.bigdata.spark.core.pg02_rdd.pg022_rdd_transform

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

/**
 * @Desc : 按照Key进行排序
 */
object Spark18_SortByKey {
  def main(args: Array[String]): Unit = {
    //创建配置文件
    val conf: SparkConf = new SparkConf().setAppName("Spark18_SortByKey").setMaster("local[*]")
    //创建SparkContext,该对象是提交的入口
    val sc = new SparkContext(conf)
    //创建RDD
    val rdd: RDD[(Int, String)] = sc.makeRDD(List((3, "aa"), (6, "cc"), (2, "bb"), (1, "dd")))
    //按照key对rdd中的元素进行排序 默认升序
    val resRDD1: RDD[(Int, String)] = rdd.sortByKey()
    //打印输出
    resRDD1.collect().foreach(println)
    println("**************************************")
    //降序
    val resRDD2: RDD[(Int, String)] = rdd.sortByKey(ascending = false)
    //打印输出
    resRDD2.collect().foreach(println)
    //释放资源
    sc.stop()
  }
}

按照value进行排序

map进行结构转换，对调原来的k,v的位置

伪代码：

map(_.swap)

排完序后再使用map进行对调

自定义排序规则对对象进行排序

package com.xcu.bigdata.spark.core.pg02_rdd.pg022_rdd_transform

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

/**
 * @Desc : 自定义排序规则
 */
object Spark18_CustomSortByKey {
  def main(args: Array[String]): Unit = {
    //创建配置文件
    val conf: SparkConf = new SparkConf().setAppName("Spark18_CustomSortByKey").setMaster("local[*]")
    //创建SparkContext,该对象是提交的入口
    val sc = new SparkContext(conf)
    //如果key为自定义类型，要求必须混入Ordered特质
    //构造kv类型的数据
    val stdList: List[(Student, Int)] = List(
      (new Student("zs", 18), 1),
      (new Student("li", 18), 1),
      (new Student("zs", 19), 1),
      (new Student("wangwu", 18), 1),
      (new Student("zs", 20), 1)
    )
    //创建
    val stdRDD: RDD[(Student, Int)] = sc.makeRDD(stdList)
    val resRDD: RDD[(Student, Int)] = stdRDD.sortByKey()
    //打印输出
    resRDD.collect().foreach(println)
    //释放资源
    sc.stop()
  }
}

class Student(var name: String, var age: Int) extends Ordered[Student] with Serializable {
  //自定义比较规则
  override def compare(that: Student): Int = {
    //先按照名称升序排序，如果名称相同的话，在按照年龄降序排序
    var res: Int = this.name.compareTo(that.name)
    if (res == 0) {
      res = that.age - this.age
    }
    res
  }

  override def toString: String = s"Student($name, $age)"
}

输出：

(Student(li, 18),1)
(Student(wangwu, 18),1)
(Student(zs, 20),1)
(Student(zs, 19),1)
(Student(zs, 18),1)