Spark SQL案例：分组排行榜

已于 2022-06-17 19:35:51 修改
阅读量352 收藏
点赞数
文章标签： spark
于 2022-06-17 15:21:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/py20010218/article/details/125322634
版权

文章目录

一、提出任务

分组求分组求TopN是大数据领域常见的需求，主要是根据数据的某一列进行分组，然后将分组后的每一组数据按照指定的列进行排序，最后取每一组的前N行数据。
学生成绩数据：

张三丰 90
李孟达 85
张三丰 87
王晓云 93
李孟达 65
张三丰 76
王晓云 78
李孟达 60
张三丰 94
王晓云 97
李孟达 88
张三丰 80
王晓云 88
李孟达 82
王晓云 98

数据表 t_grade
在这里插入图片描述
执行查询
在这里插入图片描述
预备工作：启动集群的HDFS与Spark
在这里插入图片描述

将成绩文件-grades.txt上传到HDFS上/input 目录
在这里插入图片描述

二、涉及知识点

1、开窗函数概述

Spark1.5.x版本以后，在Spark SQL和DataFrame中引入了开窗函数，其中比较常用的开窗函数就是row_number()，该函数的作用是根据表中字段进行分组，然后根据表中的字段排序；其实就是根据其排序顺序，给组中的每条记录添加一个序号，且每组序号都是从1开始，可利用它这个特性进行分组取topN。

2、开窗函数格式

ROW_NUMBER() OVER (PARTITION BY field1 ORDER BY field2 DESC) rank
分组求top3的SQL语句
在这里插入图片描述

三、完成任务

（一）新建Maven项目

在这里插入图片描述
将Java目录改为Scala目录
在这里插入图片描述

（二）添加相关依赖和构建插件

在这里插入图片描述

（三）创建日志属性文件

在这里插入图片描述

（四）创建分组排行榜单例对象

在这里插入图片描述

（五）本地运行程序，查看结果

（六）交互式操作查看中间结果

1、读取成绩文件得到数据集

在这里插入图片描述

2、定义成绩样例类

在这里插入图片描述

3、导入隐式转换

在这里插入图片描述

4、创建成绩数据集

在这里插入图片描述

5、将数据集转换成数据帧

在这里插入图片描述

6、基于数据帧创建临时表

在这里插入图片描述

7、查询临时表，实现分组排行榜

在这里插入图片描述

8、显示分组排行榜结果

在这里插入图片描述

潘潘.tel
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Learning Spark SQL - Aurobindo Sarkar
12-25
读者还将学习到如何使用Spark SQL进行数据清洗、数据转换，以及如何利用窗口函数进行时间序列分析和分组统计。此外，书中的案例研究和实战项目将帮助读者掌握Spark SQL在实际工作中的应用，比如大数据报表生成、实时...
SparkSQL中4个排序的区别
weixin_41008393的博客
01-28 1705
ORDER BY和SORT BY和DISTRIBUTE BY和CLUSTER BY的区别
oracle中rank() over, dense_rank(), row_number() 的区别
热门推荐
技术人生
04-16 1万+
假设现在有一张学生表student，学生表中有姓名、分数、课程编号，现在我需要按照课程对学生的成绩进行排序。 select * from student 1. rank over ()可以实现对学生排名，特点是成绩相同的两名是并列，如下1 2 2 4 5 2. dense_rank()和rank over()很像，但学生成绩并列后并不会空出并列所占的名次，如下1 2 2
SparkSql中的窗口函数
大数据
07-20 1908
在Spark中,使用SQL或者DataFrame都可以操作窗口。窗口的使用有两个步骤1）定义窗口规则；2）定义窗口函数。在不同的范围内统计名次时,窗口函数非常得力。控制哪些行会被放在一起,会将同一个分组的数据放在同一台机器中处理窗口函数会针对每一个组中的每一条数据进行统计聚合或者rank,一个组又称为一个Frame分组由两个字段控制,Partition在整体上进行分组和分区而通过Frame可以通过当前行来更细粒度的分组控制"行号"来表示。通过某一个列的差值来表示。Partition。............
Spark 实现分组topn排序 （scala版本）
静远小和尚的博客
06-30 1167
四种方法实现分组排序 数据集格式： http://bigdata.edu360.cn/laoduan http://bigdata.edu360.cn/laoduan http://javaee.edu360.cn/xiaoxu http://javaee.edu360.cn/xiaoxu http://javaee.edu360.cn/laoyang http://javaee.edu360.cn/laoyang http://javaee.edu360.cn/laoyang 按照每个学科求老师访
Spark-:Spark学习笔记
05-26
4. Spark SQL操作：包括创建表、查询、连接、分组、聚合等基本操作，以及如何使用DataFrame API执行SQL查询。 5. 流处理：介绍Spark Streaming的基本概念，如DStream，以及如何设置窗口和触发器进行实时处理。 6. ...
27：Spark2.3.x SQL大数据项目离线分析.rar
03-08
《Spark2.3.x SQL大数据项目离线分析》 Spark作为一个强大的大数据处理框架，自2.3.x版本以来，其SQL支持和性能优化有了显著提升，使得它在大数据项目的离线分析领域扮演了重要角色。本项目旨在深入探讨Spark如何在...
Spark Core 笔记02
01-07
对最近在看的赵星老师Spark视频中关于SparkCore的几个案例进行总结。 目录1.WordCountWordCount 执行流程详解2.统计最受欢迎老师topN1. 方法一：普通方法，不设置分组/分区2. 方法二：设置分组和过滤器3. 方法三：...
基于Python语言的Spark数据处理分析案例集锦（PySpark）.zip
01-03
本资料包"基于Python语言的Spark数据处理分析案例集锦（PySpark）.zip"涵盖了数据采集、处理和显示的相关代码、工具以及数据集，旨在帮助用户深入理解和应用PySpark。 首先，我们来讨论数据采集。在数据科学项目中...
sparksql：去重row_number，生成排序序号 ：RANK, DENSE_RANK, ROW_NUMBER的区别
zhuchunyan_aijia的博客
02-03 3588
https://blog.csdn.net/qq_39869388/article/details/80422472 去重： select date,phone from (select *,row_number() over (partition by phone order by date) num from tmp_table1) t where t.num=1 第一步：select ...
[spark]排序
胖胖的博客
10-27 1880
排序的执行顺序：按照集合中元素的比较规则进行排序，如果集合中元素没有比较规则，则可以通过extends Ordered[] 并重写相应方法实现。和sortByKey的区别是：sortBy按照f:(T)=>K这个函数的返回值进行排序这使得sortBy使用起来比sortByKey更加灵活。numPartition：可以指定排序结果的分区数，默认排序结果的分区数是这个rdd的分区数。ascending:为true则按照升序排序，为false则按照降序排序，默认为true。函数的作用：按照key进行排序。
SPARKSQL中分组排序并提取前N行
Miracle.Zhao的博客
05-06 2009
select * from (select *,row_number() over (PARTITION BY col1,col2,col3 ORDER BY col4 desc) rank from df1) tmp where rank<=10 这个是提取前10的数据
【Spark SQL：分组排行榜】
qq_56238454的博客
06-16 438
使用 Spark SQL 实现分组排行榜
Spark SQL函数之分组排序
果果的爸爸
02-02 6738
需求：根据class分组对组内的age进行排序 原表 结果 Spark  SQL : SELECT name,  age,  class,  row_number() over(partition by age order byclass) as RE FROM A 默认会把同一分组的age最大放到第一位，并且设置RE=1，以此类推 注意事项 ：
Spark Sql orderby排序使用测试
weixin_41939278的博客
11-03 8825
版本信息：Spark 2.2-hadoop-2.6 1、使用Spark Shell方式测试1g数据 （1）测试sql：SELECT * FROM rddTable order by age 先打开spark集群， /…/…/sbin/start-all.sh 然后启动spark shell： ./spark-shell --master spark://10.47.85.158:7077 --...
避坑:Spark Sql的Order By排序是不稳定的
激进的蜗牛
10-31 4777
目录 问题背景 实验 1- 构建测试用例 2- 执行测试sql 原因 1- 代码定位及问题追踪 2- 单分区设想 结论 问题背景 生产环境数据产品项目出现相同代码多次执行结果不同的问题,经过排查,发现了问题出现在first value的窗口函数返回的结果上.同一批数据执行相同sql返回值不相同. sql类似如下形式: select * ,first_value(s_id) over (partition by c_id order by s_score)first_show f
spark sql的执行顺序是什么样的
weixin_35751194的博客
12-26 363
Spark SQL 的执行顺序通常分为以下几步： 解析 SQL 语句：Spark SQL 会先将 SQL 语句解析成内部的表达式树，以便对其进行更好的优化。 优化表达式树：在解析后，Spark SQL 会执行一系列优化步骤来尽量减少数据的传输和计算。这些步骤包括谓词下推、排序合并、等价类合并等。 生成物理计划：在表达式树被优化后，Spark SQL 会将其转换为物理计划，这个计划描述了如何在...
spark sql 案例
最新发布
06-20
以下是一些Spark SQL 的典型案例： 1. **数据加载与清洗**： - 从各种数据源（如HDFS、CSV、JSON、Parquet等）读取数据。 - 使用 `CREATE TABLE` 声明外部数据源为表，便于后续查询。 - 清洗数据，比如去除重复...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值