spark常用RDD算子 - SortByKey

最新推荐文章于 2023-05-24 17:08:24 发布

小哇666

最新推荐文章于 2023-05-24 17:08:24 发布

阅读量1.1k

点赞数

分类专栏： # spark 文章标签： spark

本文链接：https://blog.csdn.net/qq_41712271/article/details/107748994

版权

spark 专栏收录该内容

76 篇文章 0 订阅

订阅专栏

SortByKey用于对pairRDD按照key进行排序，第一个参数可以设置true或者false，默认是true

List<Tuple2<String, Integer>> data = new ArrayList<>();
data.add(new Tuple2<>("A", 10));
data.add(new Tuple2<>("A", 20));
data.add(new Tuple2<>("B", 2));
data.add(new Tuple2<>("B", 3));
data.add(new Tuple2<>("C", 5));

JavaPairRDD<String, Integer> stringIntegerJavaPairRDD = javaSparkContext.parallelizePairs(data);

//升序
System.out.println(stringIntegerJavaPairRDD.sortByKey().collect());
//返回的结果
//[(A,10), (A,20), (B,2), (B,3), (C,5)]

//降序
System.out.println(stringIntegerJavaPairRDD.sortByKey(false).collect());
//返回的结果
//[(C,5), (B,2), (B,3), (A,10), (A,20)]