Spark排序算法！！ 使用java开发 自定义key值 进行二次排序 深入解析！

最新推荐文章于 2022-07-22 15:37:35 发布
最新推荐文章于 2022-07-22 15:37:35 发布
阅读量3.8k 收藏 1
点赞数
分类专栏： 大数据IMF传奇行动－Spark Hadoop
热烈祝贺王家林大咖2020年清华大学两本新书《SPARK大数据商业实战三部曲第二版》、《企业级AI技术内幕：深度学习框架开发+机器学习案例实战+Alluxio解密》出版发行
本文链接：https://blog.csdn.net/duan_zhihua/article/details/50761582
版权

Spark使用JAVA开发的二次排序

【数据文件Input】

2 3

 4 1

 3 2

 4 3

 8 7

 2 1

【运行结果Output】

2 1

 2 3

 3 2

了解本专栏 订阅专栏 解锁全文 超级会员免费看
段智华
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
WordCount_Spark!_spark_wordcount_java_
10-01
在spark上运行wordcount程序，可以进行单词计数
spark 完成二次排序
我在深圳的这些日子的博客
09-09 243
先根据第一列的数字从大到小排序,如果相等,在按照第二列进行排序. 文件内容: file3.txt 23 4 23 5 2 4 2 5 6 7 6 8 10 23 10 23 43 45 43 45 46 56 46 56 排序代码: 1、这个一个类:SecondarySortkey /** * @author * @date 2020-09-09 15:02 * @version 1.0 */ class SecondarySortkey(val first:Int,val second
JavaSpark | RDD实战：二次排序
liujiesxs的博客
07-22 851
二次排序 -- javaSpark
Spark二次排序(java)
js54100804的专栏
04-17 334
package com.sparktest; import java.io.Serializable; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark
spark实现二次排序java版
wjn19921104的博客
05-09 158
package test08; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import or...
Spark 使用sortByKey进行二次排序
大冰的小屋
08-15 5612
Spark的sortByKey API允许自定义排序规则，这样就可以进行自定义的二次排序、三次排序等等。 先来看一下sortByKey的源码实现：def sortByKey(): JavaPairRDD[K, V] = sortByKey(true)def sortByKey(ascending: Boolean): JavaPairRDD[K, V] = { val comp = com
JavaTokenizerExample_Spark!_java_spark_wearriy_
09-28
Java Spark 文本分词，可本地运行
Spark代码笔记03——自定义排序、自定义分区、累加器、广播变量
01-07
 Spark对简单的数据类型可以直接排序，但是对于一些复杂的条件就需要用自定义排序来实现了 1.第一种定义方法： 用到了隐式转换  package scalaBase.day11 import org.apache.spark.rdd.RDD import org.apache....
Spark大数据计算开发技术项目一2017032695-陈兴权_大数据Spark_Spark!_saprk_
09-29
在整个毕业论文设计的过程中我学到了做任何事情所要有的态度和心态， 首先我明白了做学问要一丝不苟， 对于出现的任何问题和偏差都不要轻视， 要通过正确的途径去解决， 在做事情的过程中要有耐心和毅力， 不要一...
深入解析Scala与Java共筑的Spark全面学习源码
最新发布
03-25
项目概述：《深入解析Scala与Java共筑的Spark全面学习源码》 本项目以Scala为主要开发语言，辅以Java实现，全面讲解了Spark的原理与应用。包含文件共150个，其中主要包括： - XML配置文件：139个，为项目提供了...
java 二次排序_【spark】sortByKey实现二次排序
weixin_35129495的博客
02-24 296
最近在项目中遇到二次排序的需求，和平常开发spark的application一样，开始查看API，编码，调试，验证结果。由于之前对spark的API使用过，知道API中的sortByKey()可以自定义排序规则，通过实现自定义的排序规则来实现二次排序。这里为了说明问题，举了一个简单的例子,key是由两部分组成的，我们这里按key的第一部分的降序排，key的第二部分升序排，具体如下：JavaSpar...
Spark 二次排序
DeaSun
05-28 543
二次排序 自定义类继承 Comparable, Serializable 数据 1 5 2 4 3 6 1 3 2 1 自定义类，继承 Comparable, Serializable package com.core.demo; import java.io.Serializable; public class SecondarySortKey implements Comparab...
Java Spark算子：sortByKey
weixin_44576373的博客
02-26 517
import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaSparkContext; import scala.Tuple2; import java.util.Arrays; import java.util.List...
Spark:Java实现 二次排序
菜如张学清的博客
12-06 980
测试数据1 5 2 4 3 6 1 3 2 1 输出结果1 3 1 5 2 1 2 4 3 6 实现思路：1.实现自定义的key，要实现Ordered接口和Serializable接口，在key中实现自己对多个列的排序算法 2.将包含文本的RDD，映射成key为自定义key，value为文本的JavaPariRDD 3.使用sortByKey算子按照自定义的key进行排序 4.再次映射，剔除
SPARK排序算法，使用Scala开发 二次排序 自定义KEY值，相比JAVA的罗嗦，Scala优雅简洁！！！
段智华的博客
02-28 4250
Spark使用Scala开发的二次排序 【数据文件Input】 2 3  4 1  3 2  4 3  8 7  2 1 【运行结果Output】倒排序 8 7 4 3 4 1 3 2 2 3 2 1  运行结果 【源代码文件】SecondarySortApp.scala SecondarySortKey.scala   class SecondarySor
Spark JavaPairRDD按值排序
yyoc97的专栏
04-16 3306
Spark Tuple2元组根据Value排序 今天遇到一个需求获取日志里每个方法调用的调用次数。在看了JavaPairRDD排序方法，都是按key进行操作的。sortByKey()5个方法，包括自定义Comparator的，都是按照Key来排序，有点伤感。 def sortByKey(comp: Comparator[K]): JavaPairRDD[K, V] = sortByKey(...
Spark(java)二次排序
zhuzi51的专栏
11-28 854
#楔子 学习《数据算法 Hadoop Spark大数据处理技巧》中Spark部分 1 二次排序：简介 ​ 二次排序(secondary sort) 问题是指归约阶段与某个键关联的值排序。有时这也称为值键转换(value-key conversion)。利用二次排序技术，可以传入各个归约器的值完成排序。 ​ 二次排序问题解决方案 ​ 归约器值排序至少有2种方案。这些使用hadoop和Spark...
java8实现spark wordcount并且按照value排序输出
delin的专栏
12-14 4255
最近在学习spark，本来应该是使用scala编程，但是无奈scala没接触过，还得学，就先使用java的spark api练练手，其实发现java8的函数式编程跟scala很多地方异曲同工啊，搞定spark的java api后面学scala应该事半功倍！ 最开始当然是万年不变的wordcount，加了个排序输出，具体看注释.
通过java代码实现spark的计算排序
weixin_43365615的博客
01-27 334
1、导入spark相关依赖： <properties> <java.version>1.8</java.version> <spark.version>2.1.0</spark.version> <scala.version>2.11</scala.version> </properties> <dependencies> <depe
Spark 使用Combinkey算子python实现二次排序
06-08
在 Spark 中，可以使用自定义的 `Key` 类实现 Combinkey 算子来实现二次排序。具体的 Python 代码实现如下： ```python class Key: def __init__(self, first, second): self.first = first self.second = second def __lt__(self, other): if self.first == other.first: return self.second < other.second else: return self.first < other.first rdd = sc.parallelize([(1, 2, 3), (2, 3, 4), (1, 4, 5), (2, 1, 6)]) # 第一次排序，按照第一个元素进行排序 sorted_rdd = rdd.sortBy(lambda x: x[0]) # 第二次排序，按照第二个元素进行排序 result = sorted_rdd.map(lambda x: (Key(x[0], x[1]), x[2])).sortByKey().map(lambda x: (x[0].first, x[0].second, x[1])) ``` 首先，定义了一个 `Key` 类，其中包含了两个元素，分别用于第一次排序和第二次排序。`Key` 类实现了 `<` 操作符，用于在排序时进行比较。然后，将数据转化为一个 RDD。接着，使用 `sortBy` 算子按照第一个元素进行排序，得到一个排序后的 RDD。接下来，使用 `map` 算子将 RDD 中的每个元素转化为一个二元组，其中第一个元素是 `Key` 对象，第二个元素是原来的第三个元素。然后，使用 `sortByKey` 算子对 `Key` 对象进行排序。最后，使用 `map` 算子将排序后的 RDD 转化为原来的格式。 需要注意的是，在实际的应用中，可能需要对数据进行序列化和反序列化，以便在不同的节点之间传输数据。另外，对于大规模的数据集，可能需要使用分布式文件系统来进行存储和管理数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

段智华

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值