Spark SQL案例：分组排行榜

最新推荐文章于 2022-10-20 18:38:24 发布
最新推荐文章于 2022-10-20 18:38:24 发布
阅读量352 收藏
点赞数
文章标签： spark 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67806436/article/details/125431489
版权

文章目录

一、提出任务

  • 分组求分组求TopN是大数据领域常见的需求，主要是根据数据的某一列进行分组，然后将分组后的每一组数据按照指定的列进行排序，最后取每一组的前N行数据。
    学生成绩数据：
张三丰 90
李孟达 85
张三丰 87
王晓云 93
李孟达 65
张三丰 76
王晓云 78
李孟达 60
张三丰 94
王晓云 97
李孟达 88
张三丰 80
王晓云 88
李孟达 82
王晓云 98

在这里插入图片描述

  • 执行查询
    在这里插入图片描述
  • 预备工作：启动集群的HDFS与Spark

在这里插入图片描述

  • 将成绩文件-grades.txt上传到HDFS上/input 目录
    在这里插入图片描述

二、涉及知识点

1、开窗函数概述

  • Spark1.5.x版本以后，在Spark
    SQL和DataFrame中引入了开窗函数，其中比较常用的开窗函数就是row_number()，该函数的作用是根据表中字段进行分组，然后根据表中的字段排序；其实就是根据其排序顺序，给组中的每条记录添加一个序号，且每组序号都是从1开始，可利用它这个特性进行分组取topN。
    2、开窗函数格式
    在这里插入图片描述

三、完成任务

（一）新建Maven项目

在这里插入图片描述

  • 将Java目录改为Scala目录
    在这里插入图片描述

（二）添加相关依赖和构建插件

在这里插入图片描述

（三）创建日志属性文件

在这里插入图片描述

（四）创建分组排行榜单例对象

在这里插入图片描述

xizaizhao
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark SQL 2.3.0：深入浅出
08-20
Spark SQL 2.3.0：深入浅出，看了下，还行，希望对大家有帮助
spark 分组后排序 spark 分组排序
qq_34009542的博客
08-25 576
spark 分组排序
SQL查询， group by后如何取第一条，如何排序，如何标记序，如何取指定第n条？
weixin_45446607的博客
10-20 2万+
SQL查询， groupby分组后，如何取第一条，如何排序，如何标记序，如何取指定第n条？
查询sql中分组后每组中的第一条或者最后一条
Jjs_Object的博客
11-03 2016
select * from(select row_number() over(partition by 【分组列】 order by【排序列】desc/asc) as rownum,* from (SELECT * FROM 【表名】 )as G1 ) as G where G.rownum =1
sparksql 获取json数组第一个里面的某个值
每天进步一点点儿
03-18 1719
[{"name":"db.tb_name","columns":[],"isTemp":false}] 想获取 db.tb_name 可以用下面的语句 select get_json_object(get_json_object('[{"name":"db.tb_name","columns":[],"isTemp":false}]','$[0]'),'$.name')
SparkSQL语法及API
weixin_34129145的博客
05-14 373
2019独角兽企业重金招聘Python工程师标准>>> ...
spark sql案例分析
10-18
航班数据下载 问题提出，分析，如何根据问题一步步写出spark sql
Spark案例：电影推荐
08-22
Spark案例：电影推荐案例相关资料，数据
spark-dbf:Spark SQL DBF 库
07-03
Spark SQL DBF 库 使用查询数据的库。 这是正在进行中的工作，基于项目。 “Ye Olde”DBF 文件格式像现代 Avro 格式一样封装数据和模式。 因此，改变 avro 项目并使其适应我们可信赖且无处不在的 dbf 格式是自然而...
spark-xml:Spark SQL和DataFrames的XML数据源
05-12
Apache Spark的XML数据源 一个用于使用解析和查询XML数据的库，用于Spark SQL和DataFrames。 结构和测试工具大部分是从复制的。 该软件包支持以分布式方式处理无格式的XML文件，这与Spark中的JSON数据源限制嵌入式...
Spark | 分组排序
俗人
12-04 993
记录下Spark分组排序时遇到的问题，需求问题如下： 当前有HDFS文件数据内容为： (字段顺序为手机号-phone、用户ID-userId、线路-line、时间戳-clientTimestamp)，然后读取HDFS文件内容生成rdd,其中rdd的格式为( (phone,userId,line)) 130xxxxxxxx&1980098385910287364&1004&a...
SPARKSQL中分组排序并提取前N行
Miracle.Zhao的博客
05-06 1973
select * from (select *,row_number() over (PARTITION BY col1,col2,col3 ORDER BY col4 desc) rank from df1) tmp where rank<=10 这个是提取前10的数据
Spark first, last函数的坑
Bugs那些事儿
06-11 3114
Spark SQL的聚合函数中有first, last函数，从字面意思就是根据分组获取第一条和最后一条记录的值，实际上，只在local模式下，你可以得到满意的答案，但是在生产环境（分布式）时，这个是不能保证的。看源码的解释： /** * Returns the first value of `child` for a group of rows. If the first value of `child` * is `null`, it returns `null` (respecting null
SQL 查询表的第一条数据 和 最后一条数据
热门推荐
North Spark
06-14 3万+
SQL 查询表的第一条数据 和 最后一条数据
Spark分组取TopN
https://blog.csdn.net/sinat_36710456
01-21 3088
这篇文章主要介绍在Spark中如何分组取TopN元素的两种方法： 第一种方法基于Spark SQL的窗口函数实现， 第二种方法基于原生的RDD接口实现。 构造数据 首先我们构造一份班级的成绩数据，这份数据有三列组成，第一列是考试科目category，第二列是学生的名字name，第三列是学生的成绩。如下： val df = spark.createDataFrame(Seq(   ("A"...
spark分组排序一
huyang0101的博客
12-16 1763
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、样例数据二、样例源码三、总结思路问题 前言 以一个小例子：统计每个品类下最受欢迎的sku，来记录下spark分组排序的思路。 此代码是参考多易教育spark课程编写 一、样例数据 cate1,sku01 cate1,sku02 cate1,sku01 cate1,sk
0.3、sql 获取表中每一个分组中的第一条数据
༺ bestcxx的专栏 ༻
08-24 1万+
文章目录问题描述测试表结构插入一下数据提出需求问题解决拓展-根据id最简单 问题描述 对于 SQL 搜索有一种场景尽管很少遇到，但是不可避免，就是对于数据进行分组，并且获取每一个分组中第一条数据。 本文给出可行的解决方案。 测试表结构 表字段主要是 id、name、type、date create table test ( id bigint auto_increment primary key, name varchar(20) not null, type
Spark RDD案例：分组排行榜（大数据实训02）
qq_56244269的博客
06-15 744
目录一、提出任务二、完成任务（一）新建Maven项目（二）添加相关依赖和构建插件（三）创建日志属性文件四）创建分组排行榜单例对象（五）本地运行程序，查看结果（六）交互式操作查看中间结果1、读取成绩文件得到RDD2、利用映射算子生成二元组构成的RDD3、按键分组得到新的二元组构成的RDD4、按值排序，取前三5、按指定格式输出结果 张三丰 90 李孟达 85 张三丰 87 王晓云 93 李孟达 65 张三丰 76 王晓云 78 李孟达 60 张三丰 94 王晓云 97 李孟达 88 张三丰 80 王晓云 88
Spark SQL集合数据类型array\map的取值方式
wang_wbq的博客
03-24 2万+
Spark SQL集合数据类型array\map的取值方式 版权声明：本文为博主原创文章，未经博主允许不得转载。 手动码字不易，请大家尊重劳动成果，谢谢 作者：http://blog.csdn.net/wang_wbq 本节主要讨论集合数据类型：数组\列表array、字典map这两种数据类型的索引，首先我们还是先构造数据结构与DataFrame： scala&...
spark学习笔记：spark sql概述
最新发布
06-28
### 回答1： Spark SQL是Apache Spark中的一个模块，它提供了一种基于结构化数据的编程接口。Spark SQL可以让用户使用SQL语句来查询数据，也可以让用户使用DataFrame API来进行数据处理和分析。Spark SQL支持多种数据源，包括Hive、JSON、Parquet等。Spark SQL还提供了一些高级功能，如支持用户自定义函数、支持分布式机器学习算法等。Spark SQL的目标是让用户能够方便地使用Spark进行数据处理和分析，同时提供高性能和可扩展性。 ### 回答2： Spark SQL是一个基于Spark平台的关系型数据处理引擎，它支持使用SQL语句和数据框架操作数据，可以轻松处理结构化和半结构化的数据。它可以从多个数据源中读取数据，包括Hive、JSON、Parquet、ORC等。通过Spark SQL，用户可以方便地使用SQL查询语言来分析和处理数据，大大降低了开发和组织数据流的难度。 Spark SQL主要有两种执行模式：SQL查询和DataFrame操作。其中SQL查询基于Hive的SQL语法解析器，支持HiveQL中的大多数语言特性（如UDF、窗口函数等）。在执行计划生成时，Spark SQL采用了Spark的计算引擎，支持各种Spark算子的优化，以便最大程度地提高查询性能。 另一种操作模式是使用DataFrame API，它可以灵活地进行数据转换和处理，并提供了类似于SQL的语法。与SQL查询不同，DataFrame API通过静态检查和编译器优化来避免由SQL查询引起的语法错误和潜在性能问题。 除了这两种基本的操作模式外，Spark SQL还提供了一些高级特性，如嵌套查询、表和视图、共享变量等。这些特性扩展了Spark SQL的功能，使得它可以更加灵活地进行数据处理和查询。 Spark SQL是Spark的重要组成部分，它在数据存储和处理方面提供了很多便利。通过最大程度地利用Spark引擎的优势，Spark SQL能够处理海量数据，并将其转换为有用的信息。这使得Spark SQL成为实现数据分析、机器学习和人工智能的重要工具之一。 ### 回答3： Spark SQL是一种基于Spark平台的数据处理引擎，它提供了高度优化的查询引擎和优秀的支持SQL语句的API。它允许用户使用SQL语句查询来处理大规模数据集，同时仍然支持复杂数据类型和计算。Spark SQL支持数据源，包括Parquet，Avro，JSON等一系列结构化的和半结构化的数据源。 Spark SQL在历史上是一个单独的模块，在Spark 2.0之后，它已经成为Spark的核心组件之一，可以直接在Spark核心API中使用，包括作为一个RDD库或DataFrame/DataSet的API。 Spark SQL的优点如下： 1. 它可以向受过传统SQL培训的用户展示更高级别，更强大的API。 2. 它提供数据集和RDD的良好互操作性。Spark SQL可以通过未被优化的RDD/DataSet API访问同一数据。 3. 它支持Spark的执行引擎以加速查询处理。 使用Spark SQL的时候，可以根据需要选择编程语言，如Scala，Java，Python，SQL等。在Spark核心API中，Spark SQL提供了两种API来处理结构化数据： 1. DataFrame API：DataFrame是具有许多操纵数据的功能的分布式数据集，类似于数据库中的表。 2. Dataset API：Dataset是Scala和Java API，它是类型安全的，并且提供与RDD API相同的API，但比RDD具有更好的性能和可读性。 Spark SQL是Spark生态系统中重要的组成部分之一。在处理大规模数据时，使用Spark SQL可以方便地利用Spark的强大功能，提高处理效率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值