Spark SQL：分组排行榜

mu_kui

已于 2022-06-18 17:18:43 修改

阅读量164

点赞数

文章标签： spark sql scala

于 2022-06-18 17:12:42 首次发布

本文链接：https://blog.csdn.net/mu_kui/article/details/125348341

版权

本文介绍了如何使用Spark SQL处理大数据场景下分组求TopN的需求。通过创建Maven项目，添加相关依赖，设置日志属性，以及编写代码来读取成绩文件，创建数据帧并进行分组排序，最终展示了如何获取每个学生最高分的前3个成绩。

摘要由CSDN通过智能技术生成

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

一、提出任务

分组求TopN是大数据领域常见的需求，主要是根据数据的某一列进行分组，然后将分组后的每一组数据按照指定的列进行排序，最后取每一组的前N行数据。
有一组学生成绩数据

张三丰 90
李孟达 85
张三丰 87
王晓云 93
李孟达 65
张三丰 76
王晓云 78
李孟达 60
张三丰 94
王晓云 97
李孟达 88
张三丰 80
王晓云 88
李孟达 82
王晓云 98

同一个学生有多门成绩，现需要计算每个学生分数最高的前3个成绩，期望输出结果如下所示：

张三丰：94
张三丰：90
张三丰：87
李孟达：88
李孟达：85
李孟达：82
王晓云：98
王晓云：97
王晓云：93

二、完成任务

创建数据表t_grade

在这里插入图片描述

执行查询

在这里插入图片描述

SELECT * FROM t_grade tg 
   WHERE (SELECT COUNT(*) FROM t_grade 
	           WHERE tg.name = t_grade.name 
						    AND score >= tg.score						 		
	        ) <= 3 ORDER BY name, score DESC;

预备工作：启动集群的HDFS与Spark

在这里插入图片描述

将成绩文件 - grades.txt上传到HDFS上/input目录

在这里插入图片描述

（一）新建Maven项目

设置项目信息（项目名、保存位置、组编号、项目编号）

在这里插入图片描述

单击【Finish】按钮

在这里插入图片描述

（二）添加相关依赖和构建插件

在pom.xml文件里添加依赖与Maven构建插件

在这里插入图片描述

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
         http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>net.lj.rdd</groupId>
    <artifactId>GradeTopNBySQL</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId