Spark——排序实例

最新推荐文章于 2023-12-06 07:40:44 发布

wangzhangni

最新推荐文章于 2023-12-06 07:40:44 发布

阅读量197

点赞数

本文链接：https://blog.csdn.net/wangzhangni/article/details/102916337

版权

本文介绍了如何使用Spark进行排序操作，重点讲解了SortByKey和SortBy两个方法的使用，包括基于Java和Scala的实现方式，以取最大的前三个数字为例进行实战演示。

摘要由CSDN通过智能技术生成

取最大的前三个数字

top.txt
在这里插入图片描述

1、SortByKey

1）基于java

package cn.spark.study.core;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.api.java.function.PairFunction;
import scala.Tuple2;

import java.util.List;

public class Top3 {
   
    public static void main(String[] args) {
   
        SparkConf conf = new SparkConf()
                .setMaster("local")
                .setAppName("Top3");
        JavaSparkContext sc = new JavaSparkContext(conf);

        JavaRDD<String> lines = sc.textFile("E:\\ziliao\\Spark\\node\\shuju\\top.txt");

        JavaPairRDD<Integer, Integer> numbers = lines.mapToPair(new PairFunction<String, Integer, Integer>()