Spark 中的 Ordering 和 Ordered

Scala中的 Ordering 和 Ordered

首先来看一下 scala 中的 Ordering 和 Ordered 定义

• Ordering
  • trait Ordering[T] extends Comparator[T] with PartialOrdering[T] with Serializable
  • 继承了 java 中的 Comparator 接口，需要实现其中的 compare 方法来自定义排序规则
• Ordered
  • trait Ordered[A] extends Any with java.lang.Comparable[A]
  • 实现了 java 中的 Comparable 接口，需要实现其中的 compareTo 方法来自定义排序规则

常用的两种排序方式

• 使用 case class
  • 将字段封装为一个case class，然后继承Ordered或者Ordering，实现排序方法

scala> val products = sc.parallelize(List("iphone11,4999,100", "HUAWEI MATE30 PRO,6999,200", "HUAWEI MATE30,5999,300"))
products: org.apache.spark.rdd.RDD[String] = ParallelCollectionRDD[0] at parallelize at <console>:24

scala> case class ProductsV2(name: String, price: Double, amount: Int) extends Ordered[ProductsV2] {
   
     |   override def compare(that: ProductsV2): Int = this.amount - that.amount
     | }
defined class ProductsV2