[Spark进阶]--repartitionAndSortWithinPartitions替换repartition和sortBy

最新推荐文章于 2023-01-01 14:13:17 发布
最新推荐文章于 2023-01-01 14:13:17 发布
阅读量6.9k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： Apache Spark 文章标签： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/high2011/article/details/80764275
本文介绍了Spark中的repartitionAndSortWithinPartitions操作，该操作结合了重新分区和排序，提高了效率。源码解析表明它在每个分区内部按键排序记录。当需要重分区并确保数据升序排序时，应使用此方法。通过举例说明，展示了如何使用此功能以提升性能，避免单独使用repartition和sortBy。

repartitionAndSortWithinPartitions是什么？

源码

/** 包路径：package org.apache.spark.rdd.OrderedRDDFunctions
 * Repartition the RDD according to the given partitioner and, within each resulting partition,
了解本专栏 订阅专栏 解锁全文 超级会员免费看
[Spark 进阶]-- 优化Spark作业以获得最佳性能
欢迎来到我的博客，一起探索代码里的世界！
11-21 2182
感谢原文作者：https://michalsenkyr.github.io/2018/01/spark-performance Spark作业的开发在表面上看起来很容易，而且大部分都是如此。提供的 API设计精良且功能丰富，如果您熟悉Scala集合或Java流，您将立即完成实施。实际上，当在集群上运行它们并且满负载时，硬件部分实际上是因为并非所有作业在性能方面都是相同的。不幸的是，要以最佳方式实...
[Spark进阶]-- spark-1.6.x-小结
欢迎来到我的博客，一起探索代码里的世界！
08-07 2133
官方定义：spark是一个基于内存的分布式计算框架 它会使得计算速度以及开发速度快！特点：One stack rule them all ! 一站解决所有问题 热查询(Hive) 批处理(MapReduce) 实时流计算(Storm) 回顾MapReduce 的 Shuffle过程 见图     hadoop慢的原因：DISK IO 输入输出DISK IO，Shuffle阶段也是DI...
Spark算子：sortbykey和repartitionAndSortWithinPartitions（一边进行重分区的shuffle操作，一边进行排序。shuffle与sort两个操作同时进行）
wyqwilliam的博客
08-13 3814
repartitionAndSortWithinPartitions是Spark官网推荐的一个算子，官方建议，如果需要在repartition重分区之后，还要进行排序，建议直接使用repartitionAndSortWithinPartitions算子。因为该算子可以一边进行重分区的shuffle操作，一边进行排序。shuffle与sort两个操作同时进行，比先shuffle再sort来说，性能可...
Spark rdd之repartitionAndSortWithinPartitions
南风知我意
09-04 1444
根据给定的分区器对 RDD 进行重新分区，并在每个生成的分区中，按记录的key对记录进行排序。这比调用 repartition 然后在每个分区内排序更有效，因为它可以将排序向下推到 shuffle 机器中。 如果需要在repartition重分区之后，还要进行排序，建议直接使用repartitionAndSortWithinPartitions算子 必须是 类型的rdd才可以调用
Spark_Spark算子_repartitionAndSortWithinPartitions
迎难而上
09-19 7262
Spark 提供了 repartitionAndSortWithinPartitions 算子，首先我们说说这个算子的用处 ： 给算子可以通过指定的分区器进行分组，并在分组内排序 。 因此，可以满足我们如下的需求 ： 例如 ： 例子1. 将rdd数据中相同班级的学生分到一个partition中，并根据分数降序排序 例子2. 相同组合Key分组到同一分区，分区中先按照...
对比Spark repartitionAndSortWithinPartitions 与 repartition + sortByKey,附代码示例
qq_39285950的博客
12-20 1218
我们刚讲到 repartition 源码中用的是 Murmur3Hash 方式进行Hash的, 这也无法避免次问题, 那么repartition 和 repartitionAndSortWithinPartitions都无法完全避免HashCode冲突的问题, 我们应该怎么办呢?通过代码我们可以看到, 这里是使用对logid进行hashCode, 然后取 % 进行分区, 当数据量过大时, 就会出现Hash冲突的问题.当然, 还可尝试先md5再hashCode,效果与上述结果类似.
spark中repartition, coalesce, partitionBy, repartitionAndSortWithinPartitions 四种重分区算子
知其然，知其所以然
03-15 2337
美图欣赏： 一.背景 spark中一共有四种重分区算子： 1.repartition 2.coalesce 3.partitionBy 4.repartitionAndSortWithinPartitions 二.spark中map，mapPartitions，mapPartitionsWithIndex，sortBy ，sortByKey 算子 1.创建一个集合（默认设置是俩分区） 在...
Spark算子--------coalesce、repartition
a18295764050的博客
08-05 612
RDD的重分区
spark-算子-分区算子partitionBy、coalesce、repartition
DCHAO的博客
11-05 1637
partitionBy val inputRDD = sc.parallelize(Array[(Int,Char)] ((1, 'a'),(2,'b'),(3,'C') (4,'d'),(2,'e'),(3,'f'),(2,'g'),(1, 'h')),3) val resultRDD = inputRDD.partitionBy(new HashPartitioner (2))//使用HashPartitioner重新分区 val resultRDD = inputRDD.partitionBy(n
RDD 重新分区，排序 repartitionAndSortWithinPartitions
diaorong5437的博客
06-17 630
需求：将rdd数据中相同班级的学生分到一个partition中，并根据分数降序排序。 此实例用到的repartitionAndSortWithinPartitions是Spark官网推荐的一个算子，官方建议，如果需要在repartition重分区之后，还要进行排序，建议直接使用repartitionAndSortWithinPartitions算子。因为该算子可以一边进行重分区的shu...
spark RDD 键值算子——repartitionAndSortWithinPartitions算子
weixin_59295776的博客
12-01 1295
repartitionAndSortWithinPartitions是Spark官网推荐的一个算子，官方建议，如果需要在repartition重分区之后，还要进行sort 排序，建议直接使用repartitionAndSortWithinPartitions算子。因为该算子可以一边进行重分区的shuffle操作，一边进行排序。shuffle与sort两个操作同时进行，比先shuffle再sort来说，性能可能是要高的。 ...
repartitionAndSortWithinPartitions替换repartition和sortBy
紫蝶侠的博客
08-19 556
根据给定的分区程序对RDD进行重新分区，并在每个生成的分区内按键对记录进行排序。 这比调用重新分区，然后在每个分区内进行排序更有效率，因为它可以将排序压入洗牌机器。 什么时候使用repartitionAndSortWithinPartitions？ 如果需要重分区，并且想要对分区中的数据进行升序排序。 提高性能，替换repartition和sortBy repartitionAndSortWithinPartitions算子可以一边进行重分区的shuffle操作，一边进行排序。shuffle与sort两个操
spark的重分区及排序
heima201907的博客
11-05 446
spark的重分区及排序 大家应该都知道mapPartitions值针对整个分区执行map操作。而且对于PairRDD的分区默认是基于hdfs的物理块，当然不可分割的话就是hdfs的文件个数。但是我们也可以给partitionBy 算子传入HashPartitioner，来给RDD进行重新分区，而且会使得key的hashcode相同的数据落到同一个分区。 sp...
spark java sortby_【Spark Java API】Transformation(9)—sortByKey、repartitionAndSortWithinPartitions...
weixin_39552204的博客
02-19 262
sortByKey官方文档描述：Sort the RDD by key, so that each partition contains a sorted range of the elements in ascending order.Calling `collect` or `save` on the resulting RDD will return or output an ordered...
【Spark Java API】Transformation(9)—sortByKey、repartitionAndSortWithinPartitions
小飞侠的专栏
08-20 2351
spark java api...
spark5种去重方式,快速去重
qq_39285950的博客
01-01 8344
双重group by将去重分成了两步,是分组聚合运算,group by操作能进行多个reduce任务并行处理,每个reduce都能收到一部分数据然后进行分组内去重,不再像distinct只有一个reduce进行全局去重.sql中最简单的方式,当数据量小的时候性能还好.当数据量大的时候性能较差.因为distinct全局只有一个reduce任务来做去重操作,极容易发生数据倾斜的情况,整体运行效率较慢.DataFrame中,可以先将分区内数据进行排序,然后通过dropDuplicates将重复的数据删除.
spark学习之sparksql中dataframe的常用函数
Carnation_s的博客
10-11 3594
SparkSql-DataFrame 一、DataFrame的相关方法 1、show 作用：展示数据 show(numRows:Int,truncate:Boolean) show(numRows:Int) numRows：表示展示的行数（默认展示20行） Truncate:只有两个取值true,false,表示一个字段是否最多显示20个字符，默认为true 2、collect 作用：获取一个dataframe的里面的数据 形成的是一个数组 注意：返回的是一个array 适用于数据量比较小的场景
SPARK-SQL - sort排序相关的api大全
小哇
08-11 1798
排序方法汇总，默认都是升序 sort()orderBy()，orderBy是基于sort实现的sortWithinPartitions() 按区排序，分区内有顺序，全局无序代码示例 import org.apache.spark.api.java.function.ForeachPartitionFunction; import org.apache.spark.sql.Dataset; import org.apache.spark.sql.Row; import org.apache.spark.s
spark中的repartition和partitionby
05-12
repartition和partitionBy都是用于对数据进行重新分区的操作，但是它们的使用场景和功能有所不同。 repartition是将数据进行重新分区，可以增加或者减少分区的数量，可以用于数据的重新平衡。repartition的实现是...
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

oo寻梦in记

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值