Spark RDD案例：分组排行榜

最新推荐文章于 2023-06-05 09:55:06 发布

兮若耶

最新推荐文章于 2023-06-05 09:55:06 发布

阅读量291

点赞数

文章标签： spark scala java

本文链接：https://blog.csdn.net/m0_63797754/article/details/125371053

版权

本文通过一个实例展示了如何使用Spark RDD来处理分组TopN的问题。具体任务是计算每个学生的最高三个成绩。首先，文章说明了需求背景，接着在Scala环境下创建Maven项目，配置相关依赖和构建插件，以及日志属性文件。然后，通过一系列步骤，包括读取成绩文件、映射生成二元组、按键分组、按值排序以及输出结果，实现了分组排行榜的功能，并在本地运行展示结果。

摘要由CSDN通过智能技术生成

一、提出任务

分组求TopN是大数据领域常见的需求，主要是根据数据的某一列进行分组，然后将分组后的每一组数据按照指定的列进行排序，最后取每一组的前N行数据。
有一组学生成绩数据

小王 55
夏利 85
小张 99
小王 87
夏利 99
小张 86
小王 88
小张 56
夏利 45
小张 88
小王 84
夏利 100

要求：同一个学生有多门成绩，现需要计算每个学生分数最高的前3个成绩
启动集群

请添加图片描述

请添加图片描述
将成绩文件 - grades.txt上传到HDFS上/fff目录

实现思路：使用Spark RDD的groupByKey()算子可以对(key,
value)形式的RDD按照key进行分组，key相同的元素的value将聚合到一起，形成(key,
value-list)，将value-list中的元素降序排列取前N个即可。

二、完成任务

（一）新建Maven项目

设置项目信息（项目名、保存位置、组编号、项目编号）

请添加图片描述

单击【Finish】按钮

请添加图片描述

（二）添加相关依赖和构建插件

在pom.xml文件里添加依赖与Maven构建插件

请添加图片描述

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>groupId</groupId>
    <artifactId>GradeTopN1</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.11.12</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.1.1</version>
        </dependency>
    </dependencies<