Spark：Java实现分组取Top N

最新推荐文章于 2024-08-10 07:39:53 发布

彩笔程序猿zxxxx

最新推荐文章于 2024-08-10 07:39:53 发布

阅读量1.3k

点赞数

分类专栏： spark 文章标签： spark java

本文链接：https://blog.csdn.net/kaede1209/article/details/78734516

版权

本文介绍如何使用Java编程，在Spark中对数据进行分组并获取每个组别的前N名记录，以班级成绩为例，展示了具体的实现代码及运行结果。

摘要由CSDN通过智能技术生成

1、源数据如下，取出每班成绩的前三名

class1 98
class2 90
class2 92
class1 96
class1 100
class2 89
class2 68
class1 81
class2 90

2.实现代码

package cn.spark.study.core;

import java.util.ArrayList;
import java.util.Arrays;
import java.util.Iterator;
import java.util.List;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.PairFunction;
import org.apache.spark.api.java.function.VoidFunction;

import scala.Tuple2;

/**
 * 分组去top3
 * @author Administrator
 *
 */
public class GroupTop3 {

public static void main(String[] args) {
    SparkConf conf = new SparkConf().setAppName("Grouptop3").setMaster("local");

    JavaSparkContext sc = new JavaSparkContext(conf);

    JavaRDD<String> lines = sc.textFile("E://BigData//sparkdata//score.txt");