Spark(34) -- Spark SQL补充 -- 窗口函数案例

最新推荐文章于 2024-01-02 06:30:00 发布
最新推荐文章于 2024-01-02 06:30:00 发布
阅读量108 收藏
点赞数
分类专栏： 大数据学习 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eraining/article/details/108948991
版权
本文介绍了如何使用Spark SQL和DataFrame处理窗口函数，以解决两类问题：每个类别收入前两名的商品统计，以及计算每个商品与同品类最贵商品的差值。通过案例详细解析了窗口函数的使用方法和步骤。
摘要由CSDN通过智能技术生成

案例一： 第一名和第二名案例

目标
掌握如何使用 SQL 和 DataFrame 完成名次统计, 并且对窗口函数有一个模糊的认识, 方便后面的启发

需求介绍
数据集
在这里插入图片描述
product : 商品名称
categroy : 类别
revenue : 收入

需求分析

  • 从数据集中得到每个类别收入第一的商品和收入第二的商品
  • 关键点是, 每个类别, 收入前两名
    在这里插入图片描述

方案1: 使用常见语法子查询
问题1: Spark 和 Hive 这样的系统中, 有自增主键吗? 没有
问题2: 为什么分布式系统中很少见自增主键? 因为分布式环境下数据在不同的节点中, 很难保证顺序
解决方案: 按照某一列去排序, 取前两条数据
遗留问题: 不容易在分组中取每一组的前两个

SELECT * FROM productRevenue ORDER
了解本专栏 订阅专栏 解锁全文 超级会员免费看
erainm
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
SparkSQL | 窗口函数
小哲数据
03-01 4020
import pandas as pd from pyspark.sql import SparkSession from pyspark.conf import SparkConf from pyspark.sql.types import * from pyspark.sql import functions as F, Window # 配置集群 config = SparkConf() ...
SparkSQL窗口函数
qq_42936727的博客
04-01 580
NTILE会为结果集分配指定大小的分区，将结果集尽可能平均分配到结果集上，并对每一行的结果标明分区编号，总行数不能整除指定分区大小时分区内数据数量可能有点差异，如下按score降序之后，进行分区。排序函数（列）OVER(选项)，这里的选项可以是ORDER BY子句，也可以是OVER(PARTITION BY子句ORDER BY子句)，但不可以。开窗用于为行定义一个窗口（这里的窗口是指运算将要操作的行的集合），它对一组值进行操作，不需要使用GROUP BY子句对数据进。开窗函数是将一行变成多行；
spark sql中的窗口函数
weixin_34257076的博客
10-08 280
2019独角兽企业重金招聘Python工程师标准>>> ...
spark sql窗口函数
Shie_3的博客
09-28 6756
窗口函数是spark sql模块从1.4之后开始支持的，主要用于解决对一组数据进行操作，同时为每条数据返回单个结果，比如计算指定访问数据的均值、计算累进和或访问当前行之前行数据等，这些场景使用普通函数实现是比较困难的。 窗口函数计算的一组行，被称为Frame。每一个被处理的行都有一个唯一的frame相关联。 Spark SQL支持三类窗口函数：排名函数、分析函数和聚合函数。以下汇总了Spark S...
SparkSql中的窗口函数
大数据
07-20 1924
在Spark中,使用SQL或者DataFrame都可以操作窗口。窗口的使用有两个步骤1）定义窗口规则；2）定义窗口函数。在不同的范围内统计名次时,窗口函数非常得力。控制哪些行会被放在一起,会将同一个分组的数据放在同一台机器中处理窗口函数会针对每一个组中的每一条数据进行统计聚合或者rank,一个组又称为一个Frame分组由两个字段控制,Partition在整体上进行分组和分区而通过Frame可以通过当前行来更细粒度的分组控制"行号"来表示。通过某一个列的差值来表示。Partition。............
SparkSQL 实现窗口函数
小叮当的博客
02-22 831
开窗函数的引入是为了既显示聚合前的数据，又显示聚合后的数据。即在每一行的最后一列添加聚合函数的结果。开窗用于为定义一个窗口（指运算将要操作的行的集合），它对一组值进行操作，不需要使用Group BY子句对数据进行分组，能够在同一行中同时返回基础行的列和聚合列。聚合函数和开窗函数的区别：聚合函数是多行变一行；如果要显示其他列必须加入到group by中。开窗函数是一行变多行；不需要加group by就可以将所有信息显示出来。开窗函数分类：聚合开窗函数：聚合函数(col) + OVER()
SparkSQL 开窗函数
jx的博客
01-17 2354
开窗函数能在每行的最后一行都显示聚合函数的结果，所以聚合函数可以用作开窗函数。
Spark sql之开窗函数
m0_46078458的博客
12-02 1431
开窗函数语法总结
Spark SQL中窗口函数（三个案例示例代码）
gym02的博客
04-17 453
需要用到的依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.4.4</version> </dependency> ...
SparkSQL函数定义——UDF函数，窗口函数
m0_55674689的博客
12-24 3741
SparkSQL函数定义——UDF函数，窗口函数
Spark SQL 快速入门系列（九）窗口函数
weixin_45417821的博客
09-09 918
文章目录窗口函数第一名和第二名案例窗口函数排名函数rankdense_rankrow_number分析函数first_valuelast_valuelaglead聚合函数*最优差值案例 窗口函数 目标和步骤 目标 理解窗口操作的语义, 掌握窗口函数的使用 步骤 1，案例1, 第一名和第二名 2，窗口函数介绍 3，案例2, 最优差值 第一名和第二名案例 目标和步骤 目标 掌握如何使用 SQL 和 DataFrame 完成名次统计, 并且对窗口函数有一个模糊的认识, 方便后面的启发 步骤 1，需求介绍 2
Spark SQL 自定义函数、开窗函数
最慢的步伐不是跬步，而是徘徊；最快的脚步不是冲刺，而是坚持
04-22 8205
目录 RDD、DF、DS三者之间的转化 Spark SQL自定义函数 开窗函数的作用 开窗函数的分类 聚和开窗函数 排序聚和函数 聚和开窗函数 排序聚和函数 RANK跳跃排序 RDD、DF、DS三者之间的转化 转换成RDD .rdd 转换成DF .toDF() 转换成DS RDD->DS .toDS()...
Spark SQL:从入门到精通(五)[开窗函数]
04-23 5455
概述 https://www.cnblogs.com/qiuting/p/7880500.html 介绍: 开窗函数的引入是为了既显示聚集前的数据，又显示聚集后的数据。即在每一行的最后一列添加聚合函数的结果。 开窗用于为行定义一个窗口(这里的窗口是指运算将要操作的行的集合)，它对一组值进行操作，不需要使用 GROUP BY 子句对数据进行分组，能够在同一行中同时返回基础行的列和聚合列。 聚合函数...
第71课：Spark SQL窗口函数解密与实战学习笔记
slq1023的博客
04-13 7922
第71课：Spark SQL窗口函数解密与实战学习笔记 本期内容： 1 SparkSQL窗口函数解析 2 SparkSQL窗口函数实战   窗口函数是Spark内置函数中最有价值的函数，因为很多关于分组的统计往往都使用了窗口函数。 Window Aggregates (Windows) Window Aggregates (aka Windows) operate on a grou
Spark SQL中的聚合与窗口函数
晓晓的天空
01-02 1162
Spark SQL中的聚合与窗口函数是强大的工具，用于分析和处理结构化数据。本文深入探讨了聚合函数、分组操作、窗口函数以及实际用例，并提供了性能优化的建议。希望本文能够帮助大家更好地理解和应用Spark SQL中的聚合与窗口函数，以解决复杂的数据分析问题。
[2.4]以row_number为例解读spark sql的窗口函数
热门推荐
Memory of Mr.Snail
06-29 1万+
参考spark官网 王家林DT大数据梦工厂场景将本地文件toNGroup.txt中的内容：hadoop@master:~/resource$ cat toNGroup.txt hadoop 29 hadoop 87 hadoop 39 hadoop 27 hadoop 88 spark 29 spark 90 spark 27 spark 84 spark 92 hadoop@master:~/
第71课：Spark SQL窗口函数解密与实战
someby的博客
11-10 921
内容：     1.SparkSQL窗口函数解析     2.SparkSQL窗口函数实战 一、SparkSQL窗口函数解析     1.spark支持两种方式使用窗口函数：         在SQL语句中的支持的函数中添加OVER语句。例如avg(revenue) OVER (…)         使用DataFrame API在支持的函数调用over()方法。例如rank().over(...
spark 累加历史 + 统计全部 + 行转列
Lu_Xiao_Yue的博客
11-11 1550
转载自https://www.cnblogs.com/piaolingzxh/p/5538783.html 感觉写的特别好，特别有用 spark 累加历史主要用到了窗口函数，而进行全部统计，则需要用到rollup函数 1 应用场景： 1、我们需要统计用户的总使用时长（累加历史） 2、前台展现页面需要对多个维度进行查询，如：产品、地区等等 3、需要展现的表格头如： 产品、2015-04、2015-...
spark sql 案例
最新发布
06-20
以下是一些Spark SQL 的典型案例： 1. **数据加载与清洗**： - 从各种数据源（如HDFS、CSV、JSON、Parquet等）读取数据。 - 使用 `CREATE TABLE` 声明外部数据源为表，便于后续查询。 - 清洗数据，比如去除重复...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

erainm

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值