SparkCore 排序的五种实现方式

假设某个物品属性有(商品名 库存 价格)

val sc = new SparkContext(new SparkConf().setMaster("local[2]").setAppName(this.getClass.getName))
    // 商品名 库存 价格
val rdd = sc.parallelize(List("扑克牌 20 5","iphone11 999 6000","可乐 20 3","书本 35 66"))

方法一:

rdd.map(x =>{
      val splits = x.split(" ")
      val pname = splits(0)
      val pnum = splits(1).toInt
      val price = splits(2).toDouble

      (pname,pnum,price)
 }).sortBy(-_._2).
// 对数量进行倒序排序    
// Array((iphone11,999,6000.0), (书本,35,66.0), (扑克牌,20,5.0), (可乐,20,3.0))

方法二:

// 自定义类实现 类继承Ordered 和 Serializable 

class Products(val name:String,val pnum:Int,val price:Double ) extends Ordered[Products] with Serializable {
  override def compare(that: Products): Int = {
    -(this.pnum - that.pnum)
  }
  override def toString: String = name+"\t"+pnum+"\t"+price
}

    rdd.map(x =>{
      val splits = x.split(" ")
      val pname = splits(0)
      val pnum = splits(1).toInt
      val price = splits(2).toDouble

      new Products(pname,pnum,price)
    }).sortBy(x => x).foreach(println)

在这里插入图片描述

方法三:

方法二有没有发现有点麻烦,对象还需要new,还需要继承 Serializable ,还需要自己重写toString 方法
// 采用case class 方式,只需要继承Ordered 其余的一概不用 (至于为啥 请看 [class与case class区别](https://blog.csdn.net/kzw11/article/details/100668699))
case class Products2(name:String,num:Int,price:Double) extends Ordered[Products2]{
  override def compare(that: Products2): Int = {
   this.num - that.num
  }
}

 rdd.map(x =>{
   val splits = x.split(" ")
   val pname = splits(0)
   val pnum = splits(1).toInt
   val price = splits(2).toDouble

   Products2(pname,pnum,price)
 }).sortBy(x => x).foreach(println)

方法四:
采用隐式转换方法,跟方法二差别不是很大

class Products3(val name:String,val num:Int,val price:Double) extends Serializable{
  override def toString: String = name+"\t"+num+"\t"+price
}
rdd.map(x =>{
      val splits = x.split(" ")
      val pname = splits(0)
      val pnum = splits(1).toInt
      val price = splits(2).toDouble

      new Products3(pname,pnum,price)
}).sortBy(x => x).foreach(println)

// 这里对Product3做增强,添加排序功能
implicit def product2ordered(prod: Products3):Ordered[Products3] = new Ordered[Products3]{
  override def compare(that: Products3): Int = {
    prod.num - that.num
  }
}

方法五:

    /**
      * Ordering on
      *
      * -x._2, -x._3  排序规则
      * (Double,Int) 定义的是规则的返回值的类型
      * (String,Double,Int) 数据的类型
      */
 implicit val ord = Ordering[(Int,Double)].on[(String,Int,Double)](x => (-x._2,-x._3))

 rdd.sortBy(x=>x).foreach(println)
 
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

冬瓜螺旋雪碧

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值