SPARK排序算法，使用Scala开发 二次排序 自定义KEY值，相比JAVA的罗嗦，Scala优雅简洁！！！

最新推荐文章于 2022-03-31 20:20:04 发布
最新推荐文章于 2022-03-31 20:20:04 发布
阅读量4.2k 收藏 2
点赞数
分类专栏： 大数据IMF传奇行动－Spark Hadoop
热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行
本文链接：https://blog.csdn.net/duan_zhihua/article/details/50761816
版权
本文介绍了如何使用Scala在Spark上实现二次排序。通过定义 SecondarySortKey 类并重写 compare 方法，实现了自定义键值的排序。在SecondarySortApp中，首先读取数据文件，然后将数据转换为 SecondarySortKey 对象的键值对，接着进行降序排序，最后输出排序后的结果。
摘要由CSDN通过智能技术生成

Spark使用Scala开发的二次排序

【数据文件Input】

2 3

 4 1

 3 2

 4 3

 8 7

 2 1

【运行结果Output】倒排序

<

了解本专栏 订阅专栏 解锁全文 超级会员免费看
段智华
关注
专栏目录
订阅专栏
Scala(10) -- scala的数组、元组、列表、集、映射、迭代器、函数式编程
erainm
09-21 512
1. 数组 2. 元组 3. 列表 4. 集 5. 映射 6. 迭代器(iterator) 7. 函数式编程 8. 案例
Spark 使用sortByKey进行二次排序
大冰的小屋
08-15 5684
Spark的sortByKey API允许自定义排序规则，这样就可以进行自定义的二次排序、三次排序等等。 先来看一下sortByKey的源码实现：def sortByKey(): JavaPairRDD[K, V] = sortByKey(true)def sortByKey(ascending: Boolean): JavaPairRDD[K, V] = { val comp = com
Spark Scala 二次排序
行走的树
10-19 581
* 比较器： * 1. 继承 Ordered[T] 和Serializeable 方法 * 2. 重写 compare 方法 * 3. 需要传入参数
Spark自定义排序
weixin_43020373的博客
12-14 197
排序规则：先按照年龄排序，年龄小的往前排，年龄如果相同，按照按照作品次数排序 方式一 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object CustomSortDemo1 { def main(args: Array[String]): Unit = { va...
spark scala版本的二次排序
chixushuchu的博客
12-14 532
import java.io.Serializable class SortKey(val clickCount:Int,val orderCount:Int,val payCount:Int) extends Ordered[SortKey] with Serializable { override def compare(that: SortKey): Int ={ ...
Spark：Scala实现二次排序
菜如张学清的博客
12-06 1464
测试数据：1 5 2 4 3 6 1 3 2 1 输出结果：1 3 1 5 2 1 2 4 3 6 实现思路与上片文章思路一致，只是改变了实现语言SecondSortKey_12.scalapackage cn.spark.study.coreclass SecondSortKey_12( val first :Int ,val second :Int ) extends Ordered[Se
Scala基础知识总结
栖溪阁晓生的博客
05-26 1876
scala是运行在JVM上的多范式编程语言，同时支持面向对象和面向函数编程。早期，scala刚出现的时候，并没有怎么引起重视，随着Spark和Kafka这样基于scala的大数据框架的兴起，scala逐步进入大数据开发者的眼帘。scala的主要优势是它的表达性。 Scala语言主要用于开发大数据应用程序，如：Spark程序、Flink程序；它具有表达能力强，一行代码抵得上多行java代码，开发速度快；它也兼容Java，可以访问庞大的Java类库，例如：操作mysql、redis、freemarker、act
Scala笔记3
Master__0的博客
03-31 826
Scala第六章节 章节目标 掌握类和对象的定义 掌握访问修饰符和构造器的用法 掌握main方法的实现形式 掌握伴生对象的使用 掌握定义工具类的案例 1. 类和对象 Scala是一种函数式的面向对象语言, 它也是支持面向对象编程思想的，也有类和对象的概念。我们依然可以基于Scala语言来开发面向对象的应用程序。 1.1 相关概念 什么是面向对象? 面向对象是一种编程思想, 它是基于面向过程的, 强调的是以对象为基础完成各种操作. 面向对象的三大思想特点是什么? 1. 更符合人们的思考习惯. 2. 把复
详细阅读Spark论文
热门推荐
u013491151的专栏
03-12 1万+
为了尽可能完整地了解Spark的整个原理，并有一个层次性的认知，找了几篇最初Spark提出的论文来看。 一是希望　借此进一步加深对于Spark的理解进而指导之后的使用。 二是闲的　没事可干　那就看着虐虐自己吧。 首篇论文在这里可下note: 并非完整翻译，这样也没什么意思，而基本流程是阅读内容–>理解内容–>总结内容–>提出想法吧。当然其中会添加进去一些自己理解相关知识点请的”外援“。现在正式
Spark 二次排序
DeaSun
05-28 713
二次排序 自定义类继承 Comparable, Serializable 数据 1 5 2 4 3 6 1 3 2 1 自定义类，继承 Comparable, Serializable package com.core.demo; import java.io.Serializable; public class SecondarySortKey implements Comparab...
scala 二次排序
03-01 392
1.需求 要求根据用户不同的学习时长来进行排序。 优先根据学习时长排序，如果学习1时长相等，在根据学习2时长进行排序 数据格式： 模拟数据：分别为时间戳-用户id--学习1时长--学习2时长 1519908784338 aa 7 5 151990638433...
Scala之二次排序
tangshiweibbs的专栏
04-09 2643
package com.uplooking.bigdata.core.p3   import com.uplooking.bigdata.domain.ScalaSecondSort import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext}   import scala.r
Spark 自定义排序
freefish_yzx的博客
08-25 323
Spark 自定义排序
使用IntelliJ IDEA开发Spark Scala程序
"使用IDEA开发Scala程序，包括创建Spark应用程序，本地及分布式部署" 本文主要介绍了如何使用IntelliJ IDEA开发Spark应用程序，特别是在Scala环境下进行编程。实验目标旨在让学习者掌握IDEA的使用，以及如何开发和...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

段智华

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值