SPARK 笔记 (四) 自定义排序

自定义排序

数据以bean类型为例

第一种 bean类是class 实现 Comparable 重写compareTo方法进行排序 由于在Driver端所以bean需要实现序列化 进行传输

package cn.spark.customSort

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object CustomSort1 {
  def main(args: Array[String]): Unit = {
    //是否本地运行
    val isLocal:Boolean = args(0).toBoolean
    val conf = new SparkConf().setAppName(this.getClass.getSimpleName)
    if (isLocal){
      conf.setMaster("local[*]")
    }
    //创建SparkCongtext对象
    val sc: SparkContext = new SparkContext(conf)
    //创建RDD对象,导入一些数据
    val stair: RDD[String] = sc.makeRDD(List("xiaocang,22,99.99", "xiaobo,23,999.99", "xiaosan,24,989.99", "xiaoxiang,25,980.99"))
    //将数据切割存入bean中
    val stairGilr: RDD[StairGirl1] = stair.map(line => {
      //按,切割
      val floed = line.split(",")
      val name = floed(0)
      val age = floed(1).toInt
      val fv = floed(2).toDouble
      new StairGirl1(name,age,fv)
    })
    val res = stairGilr.sortBy(s => s)
    //打印
    println(res.collect().toBuffer)
    //关闭资源
    sc.stop()
  }
}

package cn.spark.customSort

class StairGirl1 (var name: String , var age: Int , var fv: Double ) extends  Comparable[Stair