spark sortByKey

最新推荐文章于 2024-07-16 23:47:57 发布

fjr_huoniao

最新推荐文章于 2024-07-16 23:47:57 发布

阅读量2.1k

点赞数

分类专栏： spark 文章标签： saprk sortByKey

本文链接：https://blog.csdn.net/kimyoungvon/article/details/51417843

版权

spark 专栏收录该内容

29 篇文章 1 订阅

订阅专栏

// sortByKey其实就是根据key进行排序，可以手动指定升序，或者降序
// 返回的，还是JavaPairRDD，其中的元素内容，都是和原始的RDD一模一样的
// 但是就是RDD中的元素的顺序，不同了

public static void mySortByKey(){
       SparkConf conf = new SparkConf()
       .setAppName("mySortByKey")
       .setMaster("local");
       JavaSparkContext sc = new JavaSparkContext(conf);
       List<Tuple2<Integer, String>> scoreList = Arrays.asList(
               new Tuple2<Integer, String>(65, "leo"),
               new Tuple2<Integer, String>(50, "tom"),
               new Tuple2<Integer, String>(100, "marry"),
               new Tuple2<Integer, String>(80, "jack"));

       JavaPairRDD<Integer, String> scores = sc.parallelizePairs(scoreList);
       JavaPairRDD<Integer, String> sortedScores =scores.sortByKey();
       sortedScores.foreach(new VoidFunction<Tuple2<Integer,String>>() {

           private static final long serialVersionUID = 1L;

           @Override
           public void call(Tuple2<Integer, String> t) throws Exception {
               System.out.println(t._1 + ": " + t._2);
           }

       });
       sc.close();
   }