Spark SQL案例：分组排行榜

To the wind,

已于 2022-06-18 08:40:42 修改

阅读量676

点赞数

文章标签： sql 数据库 database

于 2022-06-16 16:57:43 首次发布

本文链接：https://blog.csdn.net/HTY_yysd/article/details/125317546

版权

本文通过一个实际案例介绍了如何使用Spark SQL来计算学生成绩的分组排行榜。首先提出任务，即根据学生的成绩数据，计算每个学生分数最高的前3个成绩。接着详细阐述了完成任务的步骤，包括新建Maven项目，添加相关依赖，创建日志属性文件，编写代码实现分组排行榜，最后展示查询结果。整个过程涉及数据读取、数据帧转换和分组查询等操作。

摘要由CSDN通过智能技术生成

一、提出任务

分组求TopN是大数据领域常见的需求，主要是根据数据的某一列进行分组，然后将分组后的每一组数据按照指定的列进行排序，最后取每一组的前N行数据。

有一组学生成绩数据

张三丰 90
李孟达 85
张三丰 87
王晓云 93
李孟达 65
张三丰 76
王晓云 78
李孟达 60
张三丰 94
王晓云 97
李孟达 88
张三丰 80
王晓云 88
李孟达 82
王晓云 98

同一个学生有多门成绩，现需要计算每个学生分数最高的前3个成绩，期望输出结果如下所示

张三丰：94
张三丰：90
张三丰：87
李孟达：88
李孟达：85
李孟达：82
王晓云：98
王晓云：97
王晓云：93

数据表t_grade

执行查询

SELECT * FROM t_grade tg
   WHERE (SELECT COUNT(*) FROM t_grade
               WHERE tg.name = t_grade.name
                            AND score >= tg.score                                 
            ) <= 3 ORDER BY name, score DESC;

预备工作：启动集群的HDFS与Spark

将成绩文件 - grades.txt上传到HDFS上/input目录

二、完成任务

（一）新建Maven项目

设置项目信息（项目名、保存位置、组编号、项目编号）

单击【Finish】按钮

（二）添加相关依赖和构建插件

在pom.xml文件里添加依赖与Maven构建插件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
         http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>net.huawei.sql</groupId>
    <artifactId>GradeTopNBySQL</artifactId>
    <version>1.0-SNAPSHOT</version>

    <de