大数据之spark_自定义排序

最新推荐文章于 2024-06-19 23:05:00 发布
最新推荐文章于 2024-06-19 23:05:00 发布
阅读量503 收藏 1
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WuBoooo/article/details/108835146
版权

自定义排序

使用rdd的sortBy或sortByKey方法进行排序，实现根据需求实现灵活的排序规则，在给定的数据中，有三个字段，分别是：姓名,年龄,颜值。先按照颜值的从高到低进行排序，如果颜值相等，再安装年龄的升序排序,如果不指定排序规则,直接对Bean排序:sortBy(x => x)会报错

数据

name,age,fv
taoge,30,99.99
xingge,18,9999.99
hangge,29,99.99

错误示范

class BoyBean (val name :String,var age :Int,val fv:Double){
}

package com.doit.spark.day08

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD

object SortDemo {
  def main(args: Array[String]): Unit = {

    val conf: SparkConf = new SparkConf().setAppName("ContinuousLogin")

    val setMaster = args(0).toBoolean

    if (setMaster){
      conf.setMaster("local[*]")
    }
    val sc = new SparkContext(conf)
    val textFile = args(1)
    val line: RDD[String] = sc.textFile(textFile)
    
    val maped: RDD[BoyBean] = line.map(line => {
      val sp: Array[String] = line.split(",")
      val name = sp(0)
      var age = sp(1).toInt
      val fv = sp(2).toDouble
      new BoyBean(name, age, fv)
    })
    
    val sorted: RDD[BoyBean] = maped.sortBy(x => x)
    println(sorted.collect().toBuffer)
    
  }
}

在这里插入图片描述

实现排序方式一:

在Bean上实现Comparable或Ordered接口(因为底层Ordered实现了Comparable接口),然后重写里面的排序方法,注意这两个接口需要指定范型类型,同时因为我们的Bean里面封装了数据,之后要走网络并写磁盘,所以还需要实现序列化接口Serializable(该序列化接口默认序列化类型为java的序列化类型,占用内存空间多,但读写速度块)

package com.doit.spark.day08

class BoyBean (val name :String,var age :Int,val fv:Double) extends Comparable[BoyBean] with Serializable {

  override def compareTo(o: BoyBean): Int = {
    if (this.fv == o.fv){
      this.age - o.age
    }else{
    java.lang.Double.compare(o.fv,this.fv)
    }
  }
  override def toString: String = s"Boy($name, $age, $fv)"
}

我们还可以自定义序列化规则,然后让Bean注册该序列化规则,使占用内存变小,自定义序列化接口为Kryo类型的,该序列化方式占用内存空间小,但读写速度不如java默认的序列化方式

package com.doit.spark.day08
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD

object SortDemo {
  def main(args: Array[String]): Unit = {

    val conf: SparkConf = new SparkConf().setAppName("ContinuousLogin")

    //自定义序列化接口为Kryo类型的,该序列化方式占用内存空间小,但读写速度不如java默认的序列化方式
    conf.set("spark.serializer","org.apache.spark.serializer.KryoRegistrator")

    //BoyBean注册该序列化接口
    conf.registerKryoClasses(Array(classOf[BoyBean]))

    val setMaster = args(0).toBoolean

    if (setMaster){
      conf.setMaster("local[*]")
    }
    val sc = new SparkContext(conf)
    val textFile = args(1)
    val line: RDD[String] = sc.textFile(textFile)
    val maped: RDD[BoyBean] = line.map(line => {
      val sp: Array[String] = line.split(",")
      val name = sp(0)
      var age = sp(1).toInt
      val fv = sp(2).toDouble
      new BoyBean(name, age, fv)
    })
    val sorted: RDD[BoyBean] = maped.sortBy(x => x)
    println(sorted.collect().toBuffer)
  }
}

如果不想实现序列化接口和toString方法,可以定义一个case class Bean,因为它里面默认实现了序列化接口,和toString方法,还有get,set方法

实现排序方式二:

使用隐式转换实现一个排序规则
在调用rdd的sortBy方法前导入隐式转换

package com.doit.spark.day08

case class BoyBean (val name :String,var age :Int,val fv:Double)  extends Serializable {
  
  override def toString: String = s"Boy($name, $age, $fv)"
}

object BoySortBy {
  //自定义一个object类型的隐式参数BuyOrdering
  implicit object BoyOrdering extends Ordering[BoyBean]{

    override def compare(x: BoyBean, y: BoyBean): Int = {
      if (x.fv == y.fv){
        x.age - y.age
      }else{
        java.lang.Double.compare(y.fv,x.fv)
      }
    }
  }
}

package com.doit.spark.day08

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD

object SortDemo {
  def main(args: Array[String]): Unit = {
   

    val conf: SparkConf = new SparkConf().setAppName("ContinuousLogin")

    //自定义序列化接口为Kryo类型的,该序列化方式占用内存空间小,但读写速度不如java默认的序列化方式
    conf.set("spark.serializer","org.apache.spark.serializer.KryoRegistrator")

    //BoyBean注册该序列化接口
    conf.registerKryoClasses(Array(classOf[BoyBean]))

    val setMaster = args(0).toBoolean

    if (setMaster){
      conf.setMaster("local[*]")
    }
    val sc = new SparkContext(conf)
    val textFile = args(1)
    val line: RDD[String] = sc.textFile(textFile)

    val maped: RDD[BoyBean] = line.map(line => {
      val sp: Array[String] = line.split(",")
      val name = sp(0)
      var age = sp(1).toInt
      val fv = sp(2).toDouble
      new BoyBean(name, age, fv)
    })
    //导入隐式参数
    import BoySortBy.BoyOrdering
    val sorted: RDD[BoyBean] = maped.sortBy(x => x)
    println(sorted.collect().toBuffer)
  }
}

实现排序方式三:

数据存储在元组或Bean中,可以直接在SortBy算子中指定要排序的字段:

package com.doit.spark.day08

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD

object SortDemo {
  def main(args: Array[String]): Unit = {

    val conf: SparkConf = new SparkConf().setAppName("ContinuousLogin")

    //自定义序列化接口为Kryo类型的,该序列化方式占用内存空间小,但读写速度不如java默认的序列化方式
    conf.set("spark.serializer","org.apache.spark.serializer.KryoRegistrator")

    //BoyBean注册该序列化接口
    conf.registerKryoClasses(Array(classOf[BoyBean]))

    val setMaster = args(0).toBoolean

    if (setMaster){
      conf.setMaster("local[*]")
    }
    val sc = new SparkContext(conf)
    val textFile = args(1)
    val line: RDD[String] = sc.textFile(textFile)

    val maped: RDD[BoyBean] = line.map(line => {
      val sp: Array[String] = line.split(",")
      val name = sp(0)
      var age = sp(1).toInt
      val fv = sp(2).toDouble
      new BoyBean(name, age, fv)
    })

    //直接指定按颜值降序,再按年龄升序,元组类型同理
    val sorted: RDD[BoyBean] = maped.sortBy(x => (-x.fv,x.age))
    println(sorted.collect().toBuffer)
  }
}

实现排序方式四:

直接在sortBy算子的上方定义自定义排序的隐式参数:

package com.doit.spark.day08

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD

object SortDemo {
  def main(args: Array[String]): Unit = {


    val conf: SparkConf = new SparkConf().setAppName("ContinuousLogin")

    //自定义序列化接口为Kryo类型的,该序列化方式占用内存空间小,但读写速度不如java默认的序列化方式
    conf.set("spark.serializer","org.apache.spark.serializer.KryoRegistrator")

    //BoyBean注册该序列化接口
    conf.registerKryoClasses(Array(classOf[BoyBean]))

    val setMaster = args(0).toBoolean

    if (setMaster){
      conf.setMaster("local[*]")
    }
    val sc = new SparkContext(conf)
    val textFile = args(1)
    val line: RDD[String] = sc.textFile(textFile)

    val maped: RDD[BoyBean] = line.map(line => {
      val sp: Array[String] = line.split(",")
      val name = sp(0)
      var age = sp(1).toInt
      val fv = sp(2).toDouble
      new BoyBean(name, age, fv)
    })
    
    //自定义排序的隐式参数
    implicit val ord =Ordering[(Double,Int)].on[BoyBean](x => (-x.fv,x.age))
    
    val sorted: RDD[BoyBean] = maped.sortBy(x => x)
    println(sorted.collect().toBuffer)

  }
}
普罗米修斯之火
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据面试题_Spark
Levy的博客
09-03 928
文章目录hadoop和spark都是并行计算，那么他们有什么相同和区别简单说一下hadoop和spark的shuffle过程spark集群运算的模式RDD中reduceBykey与groupByKey哪个性能好，为什么cache后面能不能接其他算子,它是不是action操作ReduceByKey是action算子嘛数据本地性是在哪个阶段确定的RDD的弹性体现在什么方面常规的容错方式有哪几种RDD...
java大数据作业_5Mapreduce、数据挖掘
01-24
【Java大数据作业_5Mapreduce、数据挖掘】的课后作业涵盖了多个MapReduce和大数据处理的关键知识点，包括日志分析、Job执行模式、HBase的相关类、容量调度配置、MapReduce流程以及二次排序算法。下面将对这些内容...
大数据之spark_spark sql的自定义函数
WuBoooo的博客
10-04 670
用户自定义函数 UDF:输入一行返回一行 UDTF:输入一行返回多行,类似于flatmap UDAF:输入多行返回一行,类似于聚合函数 用户自定义UDF函数 UDF案例1 1.在sql语句中根据ip查询省市地址 package com.doit.spark.day11 import com.doit.spark.day11.Utils.ip2Long import org.apache.spark.broadcast.Broadcast import org.apache.spark.rdd.RDD im
大数据之spark_spark的深入理解
WuBoooo的博客
09-28 473
Spark执行流程 提交任务 spark-submit --master spark://node-1.51doit.cn:7070 --executor-memory 1g --total-executor-cores 4 --class cn.51doit.spark.WordCount /root/wc.jar hdfs://node-1.51doit.cn:9000/wc hdfs://node-1.51doit.cn:9000/out0 spark任务执行模式 Client模式（默认） Dirv
大数据之spark_spark的广播变量及ip地址案例分析
WuBoooo的博客
09-25 2316
广播变量 广播变量 通常是为了实现mapside join，可以将Driver端的数据广播到属于该application的Executor，然后通过Driver广播变量返回的引用，获取事先广播到Executor的数据 广播变量是通过BT的方式广播的（TorrentBroadcast），多个Executor可以相互传递数据，可以提高效率 在Driver端使用sc.broadcast这个方法进行广播，并且该方法是阻塞的（同步的） 广播变量一但广播出去就不能改变，为了以后可以定期的改变要关联的数据，可以定义一个o
大数据之spark_每个学科最受欢迎的老师案例
WuBoooo的博客
09-23 383
数据 http://bigdata.51doit.cn/laozhang http://bigdata.51doit.cn/laozhang http://bigdata.51doit.cn/laozhao http://bigdata.51doit.cn/laozhao http://bigdata.51doit.cn/laozhao http://bigdata.51doit.cn/laozhao http://bigdata.51doit.cn/laozhao http://bigdata.51doi
Day11 —— 大数据技术之Spark
weixin_62804382的博客
06-19 817
Apache Spark是一个快速通用的集群计算系统，是一种与Hadoop相似的开源集群计算环境，但是Spark在一些工作负载方面表现得更加优越。它提供了Java、Scala、Python和R的高级API，以及一个支持通用的执行图计算的优化引擎。它还支持高级工具，包括使用SQL进行结构化数据处理的Spark SQL、用于机器学习的MLlib、用于图处理的GraphX，以及用于实时流处理的Spark Streaming。Apache Spark是一款快速、通用、可扩展的大数据处理框架。
09.大数据技术之Spark
wzb1983的博客
07-13 8695
Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。项目是用Scala进行编写。 目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkCore、SparkSQL、Spark Streaming、GraphX、MLib、SparkR等子项目，Spark是基于内存计算的大数据并行计算框架。除了扩展了广泛使用的 MapReduce 计算模型，而
【大数据】Spark学习笔记
passnight的博客
01-04 1558
Spark学习笔记; 包含了Spark的基本概念/调度器/优化/RDD算子及SparkSQL的相关概念
大数据之Spark（5）- SparkSql
qq_42409495的博客
01-29 967
1 Spark SQL概述 1.1 什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。 我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非
大数据技术分享 Spark技术讲座 将Apache Hive工作负载迁移到Apache Spark-弥补差距 共20页.pdf
最新发布
07-18
相比之下，Apache Spark提供了更高的处理速度和更灵活的数据处理能力。因此，许多组织选择将现有的Hive工作负载迁移到Spark，以获得更好的性能和扩展性。这种迁移不仅可以提高处理效率，还能帮助识别并缩小Hive与...
04-大数据技术之高频面试题9.0.5.pdf
04-14
- **sort/uniq**: sort 用于排序，uniq 用于去除重复行。 #### 1.1.2 Shell 常用工具及写过的脚本 - **环境变量设置**：如PATH的配置。 - **条件判断**：if-else结构的使用。 - **循环结构**：for循环、while循环的...
大数据技术之高频面试题
10-26
数据倾斜可能导致部分节点过载，解决方案包括重新设计Key以分散数据、使用自定义分区器、动态负载均衡和使用Spark等其他框架优化。 以上只是大数据面试中的一部分常见问题，实际面试可能还会涵盖其他领域，如Hive、...
Spark理论和PySpark.pdf
01-22
总的来说，Spark和PySpark提供了强大的工具来处理和分析大数据，适用于各种数据密集型应用，包括实时分析、数据挖掘和机器学习等。通过理解Spark的核心概念和使用PySpark，开发者可以构建高效、灵活的数据处理流程。
配置文件获取方法
WuBoooo的博客
11-30 7936
private val config = ConfigFactory.load() lazy val cassConfig = config.getConfig("mysql") lazy val mysqlUrl = cassConfig.getString("mysql.url") lazy val username = cassConfig.getString("mysql.username") lazy val password = cassConfig.getString("m.
Spark on Yarn详解
WuBoooo的博客
11-03 5118
Spark on Yarn详解 Spark 可以跑在很多集群上，比如跑在local上，跑在Standalone上，跑在Apache Mesos上，跑在Hadoop YARN上等等。不管你Spark跑在什么上面，它的代码都是一样的，区别只是–master的时候不一样。其中Spark on YARN是工作中或生产上用的非常多的一种运行模式。今天主要对Spark on Yarn 这种方式做讲解。 yarn模式两种提交任务方式 Spark可以和Yarn整合，将Application提交到Yarn上运行，Yarn有两
大数据之spark_spark的案例分析
WuBoooo的博客
09-18 4760
计算订单分类成交金额 需求 在给定的订单数据，根据订单的分类ID进行聚合，然后按照订单分类名称，统计出某一天商品各个分类的成交金额 数据样例 {“cid”: 1, “money”: 600.0, “longitude”:116.397128,“latitude”:39.916527,“oid”:“o123”, } “oid”:“o112”, “cid”: 3, “money”: 200.0, “longitude”:118.396128,“latitude”:35.916527} {“oid”:“o124”
大数据之spark_spark简介
WuBoooo的博客
09-16 4473
什么是Spark Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache的顶级项目，2014年5月发布spark1.0，2016年7月发布spark2.0，2020年6月18日发布spark3.0.0 Spark的特点 Speed：快速高效 Hadoop的MapReduce作为第一代分布式大数据计算引擎，在设计之初，受当时计算机硬件条件所限（内存、磁盘、cpu等），为了能
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值