scala排序——ordering vs ordered

在最近探索scala的过程中,发现一个比较重要的问题,那就是排序,排序在业务代码中还是很常见的,最常用的排序就是对集合调用sorted[B >: A](implicit ord: Ordering[B])接口,但是用久了很想问为什么,这篇博客目的是解释清楚scala中的排序问题。

两大神器

scala中提供的排序比较接口,ordering和ordered。话不多说,先贴一点源码看看:

trait Ordering[T] extends Comparator[T] with PartialOrdering[T] with Serializable

Ordering中集成了java中Comparator,并且同时实现了偏排序和序列化,看到Comparator相信熟悉java的观众朋友们肯定会很高兴,心底默念一句原来是这样;那真的是这样吗?是也不是,继续往下看。

trait Ordered[A] extends Any with java.lang.Comparable[A] 

在Ordered中继承了java中的Comparable接口,类似于java中Comparable的用法;

排序

Sorting

在scala中比较简单的排序就是Sorting,这个排序的接口只是对java中的Arrays.sort的简单封装,该接口源码中比较重要就是用递归的方式实现了一次快排,可以查看相关源码,下面是对该接口的测试。

"Sorting test " should "be success" in {
    import scala.util.Sorting
    val pairs = Array(("a", 5, 2), ("c", 3, 1), ("a", 1, 3))
    // 单一字段从原类型到目标类型
    Sorting.quickSort(pairs)(Ordering.by[(String, Int, Int), Int](_._2))
    pairs.foreach(println)
    // 多个字段,只需要指定目标类型
    Sorting.quickSort(pairs)(Ordering[(String, Int)].on(x => (x._1, x._2)))
    pairs.foreach(println)
    assert(pairs.head._2 == 1, true)

    case class Person(name: String, age: Int)
    val people = Array(Person("bob", 30), Person("ann", 32), Person("carl", 19))

    // sort by age
    object AgeOrdering extends Ordering[Person] {
      def compare(a: Person, b: Person): Int = a.age compare b.age
    }
    Sorting.quickSort(people)(AgeOrdering)
    people.foreach(println)
}

运行结果:

(a,1,3)
(c,3,1)
(a,5,2)
(a,1,3)
(a,5,2)
(c,3,1)
Person(carl,19)
Person(bob,30)
Person(ann,32)

Sorting中提供了Boolean类型的排序实现,贴出来只是其注释很有意思

// Why would you even do this?
  private def booleanSort(a: Array[Boolean]): Unit = {
   ...
  }

集合排序

除了上面的排序方式外,在集合层面,scala提供了三种排序接口,分别是

def sorted[B >: A](implicit ord: Ordering[B])
def sortWith(lt: (A, A) => Boolean)
def sortBy[B](f: A => B)(implicit ord: Ordering[B])

若调用sorted函数做排序,则需要指定Ordering隐式参数:

val p1 = new Person("rain", 24)
val p2 = new Person("rain", 22)
val p3 = new Person("Lily", 15)
val list = List(p1, p2, p3)
implicit object PersonOrdering extends Ordering[Person] {
  override def compare(p1: Person, p2: Person): Int = {
    p1.name == p2.name match {
      case false => -p1.name.compareTo(p2.name)
      case _ => p1.age - p2.age
    }
  }
}
list.sorted 
// res3: List[Person] = List(name: rain, age: 22, name: rain, age: 24, name: Lily, age: 15)

若使用sortWith,则需要定义返回值为Boolean的比较函数:

list.sortWith { (p1: Person, p2: Person) =>
   p1.name == p2.name match {
     case false => p1.name.compareTo(p2.name) < 0
     case _ => p1.age - p2.age < 0
   }
}
// res4: List[Person] = List(name: rain, age: 22, name: rain, age: 24, name: Lily, age: 15)

若使用sortBy,也需要指定Ordering隐式参数:

implicit object PersonOrdering extends Ordering[Person] {
  override def compare(p1: Person, p2: Person): Int = {
    p1.name == p2.name match {
      case false => -p1.name.compareTo(p2.name)
      case _ => p1.age - p2.age
    }
  }
}
list.sortBy[Person](t => t)

上面介绍的都是在操作层面上对已定义好的对象进行的排序,在scala灵活的语法规则中,还有以下方式的针对对象的排序定义,具体代码如下:

"Ordered sort " should "" in {
    case class Persons(name: String, age: Int) extends Ordered[Persons] {
      import scala.math.Ordered.orderingToOrdered
      override def compare(that: Persons): Int = (this.name, this.age) compare (that
        .name, that.age)
    }
    val people = Array(Persons("a", 12),Persons("a", 10),Persons("b", 9),Persons("b", 12))
    people.sorted.foreach(println)
  }
result :
Persons(a,10)
Persons(a,12)
Persons(b,9)
Persons(b,12)

上面这种方式类似于java中继承了Comparable接口的实体类,具有了比较的能力,再调用scala.math.Ordered.orderingToOrdered中的compare方法进行元组级别的比较,代码整体看起来比较简洁,而且功能有效,而下面这种方式更为普及。

case class Employee(id: Int, firstName: String, lastName: String)
object Employee {
  // Note that because `Ordering[A]` is not contravariant, the declaration
  // must be type-parametrized in the event that you want the implicit
  // ordering to apply to subclasses of `Employee`.
  implicit def orderingByName[A <: Employee]: Ordering[A] = Ordering.by(e => (e.lastName, e.firstName))
  val orderingById: Ordering[Employee] = Ordering.by(e => e.id)
}  

"Ordering sort" should "" in {
    Employee.orderingByName
    val people = Array(Employee(11, "b", "11"),Employee(9, "a", "11"),Employee(12,
      "c", "12"),Employee(10, "b", "12"),Employee(21, "a", "12"))
    people.sorted.foreach(println)
    println("******************************")
    implicit val ord = Employee.orderingById
    people.sorted.foreach(println)
  }
result :
Employee(9,a,11)
Employee(11,b,11)
Employee(21,a,12)
Employee(10,b,12)
Employee(12,c,12)
******************************
Employee(9,a,11)
Employee(10,b,12)
Employee(11,b,11)
Employee(12,c,12)
Employee(21,a,12)

这种方式在伴生对象中进行了排序规则的申明,而不是在具体排序的时候,这样做也能让代码整洁,而且可以下伴生对象中根据需要定义多种排序方式,在使用时根据具体的业务场景进行选取,适合大型项目。

扩展:RDD sort

RDD的sortBy函数,提供根据指定的key对RDD做全局的排序。sortBy定义如下:

def sortBy[K](
  f: (T) => K,
  ascending: Boolean = true,
  numPartitions: Int = this.partitions.length)
  (implicit ord: Ordering[K], ctag: ClassTag[K]): RDD[T] 

仅需定义key的隐式转换即可:

scala> val rdd = sc.parallelize(Array(new Person("rain", 24),
      new Person("rain", 22), new Person("Lily", 15)))
scala> implicit object PersonOrdering extends Ordering[Person] {
        override def compare(p1: Person, p2: Person): Int = {
          p1.name == p2.name match {
            case false => -p1.name.compareTo(p2.name)
            case _ => p1.age - p2.age
          }
        }
      }
scala> rdd.sortBy[Person](t => t).collect()
// res1: Array[Person] = Array(name: rain, age: 22, name: rain, age: 24, name: Lily, age: 15)

总结

在scala中总体排序方式跟在java中感觉没有本质的区别,但是其本质区别在于scala中隐式转换的应用以及很多工具接口的实现,可以让你在此基础上来进行自定义,在代码位置合理的情况下,减少了代码。

  • 3
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
### 回答1: 批量操作是指一次性对多个数据进行操作,可以提高操作效率。在使用 Spark 读写 HBase 时,也可以使用批量操作来提高效率。具体实现方式如下: 1. 批量写入数据 使用 HBase 的 Put 类来创建要写入的数据,然后将 Put 对象添加到一个 List 中,最后使用 HBase 的 Table 类的 put 方法来批量写入数据。示例代码如下: ```scala val conf = HBaseConfiguration.create() val connection = ConnectionFactory.createConnection(conf) val table = connection.getTable(TableName.valueOf("table_name")) val puts = new ListBuffer[Put]() for (i <- 1 to 100) { val put = new Put(Bytes.toBytes(s"row_$i")) put.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col"), Bytes.toBytes(s"value_$i")) puts += put } table.put(puts.toList.asJava) ``` 2. 批量读取数据 使用 HBase 的 Get 类来创建要读取的数据,然后将 Get 对象添加到一个 List 中,最后使用 HBase 的 Table 类的 get 方法来批量读取数据。示例代码如下: ```scala val conf = HBaseConfiguration.create() val connection = ConnectionFactory.createConnection(conf) val table = connection.getTable(TableName.valueOf("table_name")) val gets = new ListBuffer[Get]() for (i <- 1 to 100) { val get = new Get(Bytes.toBytes(s"row_$i")) get.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col")) gets += get } val results = table.get(gets.toList.asJava) for (result <- results) { val row = Bytes.toString(result.getRow) val value = Bytes.toString(result.getValue(Bytes.toBytes("cf"), Bytes.toBytes("col"))) println(s"$row: $value") } ``` 以上就是使用 Scala 实现 Spark 读写 HBase 的批量操作的方法。 ### 回答2: 在实际的数据处理中,一次需要对多条数据进行读写操作,如果每次都进行单条的读写逐条操作会使程序效率非常低下。所以spark提供了批量操作API,可以对多条数据进行一次性的读写操作,极大地提高了程序的效率。 批量读操作: 批量读取数据的方式有两种:Get和Scan。 使用Get方式读取多条数据,需要将每条数据对应的Get对象添加到List集合当中,再将List集合转换为RDD对象进行操作。示例代码如下: ```scala val conf = HBaseConfiguration.create() conf.set(TableInputFormat.INPUT_TABLE, tableName) val gets = new util.ArrayList[Get]() gets.add(new Get(Bytes.toBytes("rowkey1"))) gets.add(new Get(Bytes.toBytes("rowkey2"))) gets.add(new Get(Bytes.toBytes("rowkey3"))) conf.set(TableInputFormat.SCAN, convertScanToString(new Scan())) val getRdd = sc.parallelize(gets) val hbaseRdd = getRdd.map((_, null)).hbaseBulkGet(conf, tableName, (result: Result) => { val kv: Array[Byte] = result.getValue(Bytes.toBytes(family), Bytes.toBytes(column)) Bytes.toString(kv) }) println(hbaseRdd.collect.toBuffer) ``` 使用Scan方式读取多条数据,需要将Scan对象作为参数传入,再将RDD对象转换为PairRDD并使用hbaseScan方法进行操作。示例代码如下: ```scala val conf = HBaseConfiguration.create() conf.set(TableInputFormat.INPUT_TABLE, tableName) val scan = new Scan(Bytes.toBytes("rowkey1"), Bytes.toBytes("rowkey3")) conf.set(TableInputFormat.SCAN, convertScanToString(scan)) val hbaseRdd = sc.hbaseScanRDD(conf).map((result: Result) => { val kv: Array[Byte] = result.getValue(Bytes.toBytes(family), Bytes.toBytes(column)) Bytes.toString(kv) }) println(hbaseRdd.collect.toBuffer) ``` 批量写操作: 批量写操作可以使用Put对象集合,将多条数据对应的Put对象添加到集合中,并将集合转换成RDD进行操作即可。示例代码如下: ```scala val conf = HBaseConfiguration.create() conf.set(TableOutputFormat.OUTPUT_TABLE, tableName) val puts = new util.ArrayList[Put]() puts.add(new Put(Bytes.toBytes("rowkey1")).addColumn(Bytes.toBytes(family), Bytes.toBytes(column), Bytes.toBytes("value1"))) puts.add(new Put(Bytes.toBytes("rowkey2")).addColumn(Bytes.toBytes(family), Bytes.toBytes(column), Bytes.toBytes("value2"))) puts.add(new Put(Bytes.toBytes("rowkey3")).addColumn(Bytes.toBytes(family), Bytes.toBytes(column), Bytes.toBytes("value3"))) val putRdd = sc.parallelize(puts) putRdd.hbaseBulkPut(conf, tableName) ``` 总结: 批量操作是Spark访问HBase的常见操作方式,在实际的实现过程中需要注意以下几点: 1、Get和Scan对象在HBase中读取数据的方式不一样,需要注意区分; 2、使用批量读操作可以大大提高程序效率,减少读写操作的时间消耗; 3、使用批量写操作需要合理规划写入的数据,避免出现数据冲突问题,影响程序的运行。 ### 回答3: 本篇文章将继续深入介绍如何使用Scala编码实现Spark读写操作HBase,具体涉及到HBase的批量操作。 一、Batch操作概述 在使用HBase进行数据处理的时候,我们常常需要对一个或多个表进行批量操作,批量操作即是针对 HBase的多行进行插入、删除等操作,以此来实现在HBase操作上的高效处理。HBase提供了很多批量操作API,比如 Put、Get、Delete、Scan,这些API都是可以批量操作的。 在Spark中,我们同样可以使用类似的API对HBase进行批量操作。本文将根据具体需求使用Spark实现HBase的批量操作。 二、批量操作的实现 Spark读写HBase时,使用RDD中的foreachPartition来对每个分区进行处理,在该函数内使用HBase API进行操作。关于批量操作,我们可以在每个分区中开启一个batch操作,将每个操作加入batch后,再提交即可。 例如,我们可以考虑实现一个批量put的功能,将RDD中的数据一批一批写入表中: ``` def insert(tableName: String, rdd: RDD[(String, String)]): Unit = { try{ rdd.foreachPartition({ iter => val conf = HBaseUtils.getHBaseConfiguration() conf.set(TableOutputFormat.OUTPUT_TABLE, tableName) val conn = ConnectionFactory.createConnection(conf) val table = conn.getTable(TableName.valueOf(tableName)) val puts = new java.util.ArrayList[Put]() iter.foreach { case (rowKey:String, value: String) => { // 构造put对象并append val put = new Put(Bytes.toBytes(rowKey)) put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(columnQualifier), Bytes.toBytes(value)) puts.add(put) if (puts.size() >= batchSize) { // 多条记录组成的put对象,使用put(List<Put>)一次性写入 table.put(puts) puts.clear() } } } // 如果puts还有内容,再写一次 if (puts.size() > 0) { table.put(puts) puts.clear() } table.close() conn.close() }) } catch { case e: Exception => e.printStackTrace() } } ``` 在该方法中,我们使用foreachPartition遍历RDD中的每个分区,然后通过Connection来获取HBase表实例。 之后定义了一个用于存放Put的List,当List的大小大于等于batchSize时,就将这个List中的所有put操作提交给HBase执行。 最后,释放资源,并为大家展示如何调用这个方法: ``` val rdd: RDD[(String, String)] = ... val tableName: String = ... insert(tableName, rdd) ``` 使用这种方式实现批量put,我们可以将一批数据提交到HBase执行,从而提升写入效率。当然,对于其他批量操作也可以应用类似的方式。 三、总结 本文根据实际需求,结合Spark和HBase的特点,实现了一些常用的批量操作,为大家提供了一个快速、高效的HBase操作方案。批量操作的好处是,可以将多条记录一次性操作,请求与写入等待时间都会得到缩短,获得更高的效率。感兴趣的同学可以试试,在实际开发中应该会受益匪浅!
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值