Spark算子：sortbykey和repartitionAndSortWithinPartitions（一边进行重分区的shuffle操作，一边进行排序。shuffle与sort两个操作同时进行）

最新推荐文章于 2022-12-20 11:17:22 发布

道法—自然

最新推荐文章于 2022-12-20 11:17:22 发布

阅读量3.6k

点赞数 2

本文链接：https://blog.csdn.net/wyqwilliam/article/details/81627603

版权

repartitionAndSortWithinPartitions是Spark官网推荐的一个算子，官方建议，如果需要在repartition重分区之后，还要进行排序，建议直接使用repartitionAndSortWithinPartitions算子。因为该算子可以一边进行重分区的shuffle操作，一边进行排序。shuffle与sort两个操作同时进行，比先shuffle再sort来说，性能可能是要高的。

1.repartitionAndSortWithinPartitions：repartitionAndSortWithinPartitions依据partitioner对RDD进行分区，并且在每个结果分区中按key进行排序；通过对比sortByKey发现，这种方式比先分区，然后在每个分区中进行排序效率高，这是因为它可以将排序融入到shuffle阶段。

List<Integer> data = Arrays.asList(1, 2, 4, 3, 5, 6, 7);
JavaRDD<Integer> javaRDD = javaSparkContext.parallelize(data);
final Random random = new Random();JavaPairRDD<Integer,Integer> javaPairRDD = javaRDD.mapToPair(new PairFunction<Integer, Integer, Integer>() {    
    @Override    
    public Tuple2<Integer, Integer> call(Integer integer) throws Exception {