pyspark 笔记：窗口函数window

最新推荐文章于 2024-01-20 23:16:01 发布
最新推荐文章于 2024-01-20 23:16:01 发布
阅读量1.5k 收藏 23
点赞数 27
分类专栏： python库整理 文章标签： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/135654854
版权

窗口函数相关的概念和基本规范可以见：pyspark笔记：over-CSDN博客

1 创建Pyspark dataFrame

from pyspark.sql.window import Window
import pyspark.sql.functions as F
employee_salary = [
    ("Ali", "Sales", 8000),
    ("Bob", "Sales", 7000),
    ("Cindy", "Sales", 7500),
    ("Davd", "Finance", 10000),
    ("Elena", "Sales", 8000),
    ("Fancy", "Finance", 12000),
    ("George", "Finance", 11000),
    ("Haffman", "Marketing", 7000),
    ("Ilaja", "Marketing", 8000),
    ("Joey", "Sales", 9000)]
 
columns= ["name", "department", "salary"]
df = spark.createDataFrame(data = employee_salary, schema = columns)
df.show(truncate=False)

 

2 定义窗口规范

以 partitionBy 作为分组条件，orderBy 对 Window 分组内的数据进行排序

# 以 department 字段进行分组，以 salary 倒序排序
# 按照部门对薪水排名，薪水最低的为第一名
windowSpec = Window.partitionBy("department").orderBy(F.asc("salary"))

后面的示例如无特殊说明，都是使用这个窗口规范 

3 排名相关

3.1 row_number()

用于给出从1开始到每个窗口分区的结果的连续行号

df_part = df.withColumn(
    "row_number", 
    F.row_number().over(windowSpec)
)
df_part.show()

 

[观察上面的数据，发现同样的薪水会有不同的排名（比如Ali和Elena，都是8000的薪水，但一个第三一个第四），这是因为row_number()是按照行来给定序号，其不关注实际数值的大小。

3.1.1 应用举例：

找出每个department 薪水第二低的：

 df_part.where(F.col('row_number')==2).show()
'''
+------+----------+------+----------+
|  name|department|salary|row_number|
+------+----------+------+----------+
|George|   Finance| 11000|         2|
| Ilaja| Marketing|  8000|         2|
| Cindy|     Sales|  7500|         2|
+------+----------+------+----------+
'''

3.2 rank

不同于row_number，相同value的给相同值

df_part = df.withColumn('rank_number',F.rank().over(windowSpec))
df_part.show()
'''
+-------+----------+------+-----------+
|   name|department|salary|rank_number|
+-------+----------+------+-----------+
|   Davd|   Finance| 10000|          1|
| George|   Finance| 11000|          2|
|  Fancy|   Finance| 12000|          3|
|Haffman| Marketing|  7000|          1|
|  Ilaja| Marketing|  8000|          2|
|    Bob|     Sales|  7000|          1|
|  Cindy|     Sales|  7500|          2|
|    Ali|     Sales|  8000|          3|
|  Elena|     Sales|  8000|          3|
|   Joey|     Sales|  9000|          5|
+-------+----------+------+-----------+
'''

可以看到在rank下，Ali和Elena的rank_number是一样的了 

3.3 dense rank

先看结果，再看和rank的区别

df_part = df.withColumn('dense_rank_number',F.dense_rank().over(windowSpec))
df_part.show()
+-------+----------+------+-----------------+
|   name|department|salary|dense_rank_number|
+-------+----------+------+-----------------+
|   Davd|   Finance| 10000|                1|
| George|   Finance| 11000|                2|
|  Fancy|   Finance| 12000|                3|
|Haffman| Marketing|  7000|                1|
|  Ilaja| Marketing|  8000|                2|
|    Bob|     Sales|  7000|                1|
|  Cindy|     Sales|  7500|                2|
|    Ali|     Sales|  8000|                3|
|  Elena|     Sales|  8000|                3|
|   Joey|     Sales|  9000|                4|
+-------+----------+------+-----------------+

我们重点看Joey（最后一行），rank中Ali和Elena并列第三后，身后的Joey排名第五；dense_rank中，Joey紧跟着排第四 

3.4 percent_rank

百分位排名

df_part = df.withColumn('percent_rank_number',F.percent_rank().over(windowSpec))
df_part.show()
'''
+-------+----------+------+-------------------+
|   name|department|salary|percent_rank_number|
+-------+----------+------+-------------------+
|   Davd|   Finance| 10000|                0.0|
| George|   Finance| 11000|                0.5|
|  Fancy|   Finance| 12000|                1.0|
|Haffman| Marketing|  7000|                0.0|
|  Ilaja| Marketing|  8000|                1.0|
|    Bob|     Sales|  7000|                0.0|
|  Cindy|     Sales|  7500|               0.25|
|    Ali|     Sales|  8000|                0.5|
|  Elena|     Sales|  8000|                0.5|
|   Joey|     Sales|  9000|                1.0|
+-------+----------+------+-------------------+
'''

3.5 ntile

  •  ntile()可将分组的数据按照指定数值n切分为n个部分， 每一部分按照行的先后给定相同的序数。
  • 例如n指定为2，则将组内数据分为两个部分， 第一部分序号为1，第二部分序号为2。
  • 理论上两部分数据行数是均等的， 但当数据为奇数行时，中间的那一行归到前一部分。
df_part = df.withColumn('ntile(2)',F.ntile(2).over(windowSpec))
df_part.show()
'''
+-------+----------+------+--------+
|   name|department|salary|ntile(2)|
+-------+----------+------+--------+
|   Davd|   Finance| 10000|       1|
| George|   Finance| 11000|       1|
|  Fancy|   Finance| 12000|       2|
|Haffman| Marketing|  7000|       1|
|  Ilaja| Marketing|  8000|       2|
|    Bob|     Sales|  7000|       1|
|  Cindy|     Sales|  7500|       1|
|    Ali|     Sales|  8000|       1|
|  Elena|     Sales|  8000|       2|
|   Joey|     Sales|  9000|       2|
+-------+----------+------+--------+
'''

4  分析相关函数

4.1 cume_dist

数值的累进分布值

df.withColumn('cum_dist',F.cume_dist().over(windowSpec)).show()
'''
+-------+----------+------+------------------+
|   name|department|salary|          cum_dist|
+-------+----------+------+------------------+
|   Davd|   Finance| 10000|0.3333333333333333|
| George|   Finance| 11000|0.6666666666666666|
|  Fancy|   Finance| 12000|               1.0|
|Haffman| Marketing|  7000|               0.5|
|  Ilaja| Marketing|  8000|               1.0|
|    Bob|     Sales|  7000|               0.2|
|  Cindy|     Sales|  7500|               0.4|
|    Ali|     Sales|  8000|               0.8|
|  Elena|     Sales|  8000|               0.8|
|   Joey|     Sales|  9000|               1.0|
+-------+----------+------+------------------+
'''

这个表怎么解读呢？以Sales为例，薪资小于等于7000的占比0.2，薪资小于等于7500的占比0.4，以此类推

 4.2 lag

照指定列排好序的分组内每个数值的上一个数值

df.withColumn('lag',F.lag('name').over(windowSpec)).show()
'''
+-------+----------+------+-------+
|   name|department|salary|    lag|
+-------+----------+------+-------+
|   Davd|   Finance| 10000|   null|
| George|   Finance| 11000|   Davd|
|  Fancy|   Finance| 12000| George|
|Haffman| Marketing|  7000|   null|
|  Ilaja| Marketing|  8000|Haffman|
|    Bob|     Sales|  7000|   null|
|  Cindy|     Sales|  7500|    Bob|
|    Ali|     Sales|  8000|  Cindy|
|  Elena|     Sales|  8000|    Ali|
|   Joey|     Sales|  9000|  Elena|
+-------+----------+------+-------+
'''

4.3 lead

和lag相反，下一个值

df.withColumn('lead',F.lead('name').over(windowSpec)).show()
'''
+-------+----------+------+------+
|   name|department|salary|  lead|
+-------+----------+------+------+
|   Davd|   Finance| 10000|George|
| George|   Finance| 11000| Fancy|
|  Fancy|   Finance| 12000|  null|
|Haffman| Marketing|  7000| Ilaja|
|  Ilaja| Marketing|  8000|  null|
|    Bob|     Sales|  7000| Cindy|
|  Cindy|     Sales|  7500|   Ali|
|    Ali|     Sales|  8000| Elena|
|  Elena|     Sales|  8000|  Joey|
|   Joey|     Sales|  9000|  null|
+-------+----------+------+------+
'''

 5 聚合函数

此时的聚合样式为：

windowSpecAgg=Window.partitionBy('department')

5.1 avg

平均值

df.withColumn('avg',F.avg('salary').over(windowSpecAgg)).show()
'''
+-------+----------+------+-------+
|   name|department|salary|    avg|
+-------+----------+------+-------+
|   Davd|   Finance| 10000|11000.0|
|  Fancy|   Finance| 12000|11000.0|
| George|   Finance| 11000|11000.0|
|Haffman| Marketing|  7000| 7500.0|
|  Ilaja| Marketing|  8000| 7500.0|
|    Ali|     Sales|  8000| 7900.0|
|    Bob|     Sales|  7000| 7900.0|
|  Cindy|     Sales|  7500| 7900.0|
|  Elena|     Sales|  8000| 7900.0|
|   Joey|     Sales|  9000| 7900.0|
+-------+----------+------+-------+
'''

 5.2 sum 求和

5.3 min/max 最大最小值

5.4 count 这一个窗口内有多少记录

df.withColumn('count',F.count('salary').over(windowSpecAgg)).show()
'''
+-------+----------+------+-----+
|   name|department|salary|count|
+-------+----------+------+-----+
|   Davd|   Finance| 10000|    3|
|  Fancy|   Finance| 12000|    3|
| George|   Finance| 11000|    3|
|Haffman| Marketing|  7000|    2|
|  Ilaja| Marketing|  8000|    2|
|    Ali|     Sales|  8000|    5|
|    Bob|     Sales|  7000|    5|
|  Cindy|     Sales|  7500|    5|
|  Elena|     Sales|  8000|    5|
|   Joey|     Sales|  9000|    5|
+-------+----------+------+-----+
'''

 5.5 approx_count_distinct 相同的值只记录一次

df.withColumn('ap_count',F.approx_count_distinct('salary').over(windowSpecAgg)).show()
'''
+-------+----------+------+--------+
|   name|department|salary|ap_count|
+-------+----------+------+--------+
|   Davd|   Finance| 10000|       3|
|  Fancy|   Finance| 12000|       3|
| George|   Finance| 11000|       3|
|Haffman| Marketing|  7000|       2|
|  Ilaja| Marketing|  8000|       2|
|    Ali|     Sales|  8000|       4|
|    Bob|     Sales|  7000|       4|
|  Cindy|     Sales|  7500|       4|
|  Elena|     Sales|  8000|       4|
|   Joey|     Sales|  9000|       4|
+-------+----------+------+--------+
'''

参考内容：【PySpark】窗口函数Window - 知乎

UQI-LIUWJ
关注
  • 27
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
Sparkling:PySpark笔记本
04-02
闪闪发光 PySpark笔记本
SQL2005 学习笔记 窗口函数(OVER)
09-11
SQL Server 2005中的窗口函数帮助你迅速查看不同级别的聚合，通过它可以非常方便地累计总数、移动平均值、以及执行其它计算。
pyspark-notebook：具有Docker的Pyspark笔记本
02-04
使用docker-compose运行您的docker。 它有助于将参数/设置保存在单个文件中，并在隔离的环境中一起运行。 安装docker-compose pip install - U docker - compose 开始您的应用。 运行以下命令 docker-compose up -d 访问http://127.0.0.1:8888 停止服务 docker-compose stop
pyspark Window 窗口函数
花木兰
07-07 3528
参考：Introducing Window Functions in Spark SQL 窗口函数 At its core, a window function calculates a return value for every input row of a table based on a group of rows, called the Frame. Every input row can have a unique frame associated with it. This character
PySpark和SQL中的Window function
November、Chopin
09-21 842
【代码】Window function在PySpark和SQL上的代码实践。
spark的window窗口函数
01-09
spark窗口函数的测试代码和数据 主要包括 countByKeyValueAndWindow reduceByKeyAndWindows
【PySpark系列（五）】窗口Window定义、窗口函数超详细实例讲解
Badme
05-18 1440
【PySpark系列（五）】窗口Window定义、窗口函数超详细实例讲解
PySpark之SparkSQL使用窗口函数
feizuiku0116的博客
02-10 746
一、开窗函数介绍 开窗函数的引入是为了既显示聚集前的数据，又显示聚集后的数据。即在每一行的最后一列添加聚合函数的结果。 开窗用于为定义一个窗口（这里的窗口是指运算将要操作的行的集合），它对一组值进行操作，不需要使用GroupBY子句对数据进行分组，能够在同一行中同时返回基础行的列和聚合列 二、聚合函数和开窗函数对比 聚合函数是将多行变为一行，count,avg… 开窗函数是将一行变成多行 聚合函数如果要显示其他的列必须将列加入到group by中 开窗函数可以不使用group by，直接将所有信息显示
Spark-窗口函数
心如止水 宠辱不惊
06-08 651
package cn.itcast.spark.day5 import org.apache.spark.SparkConf import org.apache.spark.streaming.{Milliseconds, Seconds, StreamingContext} /** * Created by ZX on 2016/4/19. */ object WindowOpts
Pyspark中使用窗口函数和透视表
weixin_40675092的博客
07-04 351
一、处理json格式的hdfs日志 处理json格式的日志，常规方法是使用sc.textFile(hdfs_path)读数据，然后json.loads()将没一行json串解析成字典，但是解析json串时会产生pyton-spark的数据交互，这种交互的成本很大。spark2.0以上的版本支持spark.sql.read.json方法直接读取json格式，但是分布式文件系统的json日志往往是很不规整的，json串的key各有不同，甚至相同的key，值的属性也不一样（1000， “1000”），脏的数据会.
linux运维学习笔记：Shell函数.pdf
08-18
linux运维学习笔记：Shell函数
pyspark.sql import Window窗口函数的使用
zhuiqiuuuu的博客
08-21 5156
  To be able to use window function you have to create a window first. Definition is pretty much the same as for normal SQL it means you can define either order, partition or both. First lets create ...
pyspark windows函数中lag\lead用法
土豆
05-12 3070
用于增加排名信息,rank 需求一：根据用户id进行排序，增加排名列。 from pyspark.sql import Window #新增列名称：rownumber df3 = df2.withColumn("rownumber",F.row_number().over(Window.orderBy("id"))) 需求二：根据不同用户类型，结合用户id 进行排序，增加列排名。 #选择desc,...
pyspark之Structured Streaming window函数-滚动模式
最新发布
天天学习的博客
01-20 375
【代码】pyspark之Structured Streaming window函数-滚动模式。
pyspark--Window Functions
liuyingying0418的博客
08-15 2055
文章目录1 Ranking functions1.1 row_number()1.2 rank()1.3 dense_rank()1.4 percent_rank()1.5 ntile()2 Analytic functions2.1 cume_dist()2.2 lag()2.3 lead()3 Aggregate Functions 参考链接：pyspark-window-functions Window函数在实际业务场景中非常实用，用的好的话能避免很多浪费时间的计算。刚好最近看到一篇对Window讲
c++ select函数_Spark Window Functions-PySpark（窗口函数）
weixin_29682291的博客
12-17 247
Spark Window Functions 有下列的属性在一组行上面执行计算，这一组行称为Frame每行row对应一个Frame给每行返回一个新的值通过aggregate/window 函数能够使用SQL 语法或者DataFrame API1、创建一个简单的数据集from pyspark.sql import Window from pyspark.sql.types import * from...
SparkSQL | 窗口函数
小哲数据
03-01 3861
import pandas as pd from pyspark.sql import SparkSession from pyspark.conf import SparkConf from pyspark.sql.types import * from pyspark.sql import functions as F, Window # 配置集群 config = SparkConf() ...
Spark分析窗口函数
Ganymede的Hadoop世界
01-04 6082
Spark1.4发布，支持了窗口分析函数(window functions)。 在离线平台中，90%以上的离线分析任务都是使用Hive实现，其中必然会使用很多窗口分析函数，如果SparkSQL支持窗口分析函数， 那么对于后面Hive向SparkSQL中的迁移的工作量会大大降低，使用方式如下：
spark窗口函数简单实现
weixin_36058293的博客
05-23 469
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/zhangfengBX/article/details/80659612 Window函数，可以统计最近一段时间的数据，使用Window函数加载成DStream：DStream.window("窗口长度","滑动间隔") reduceByKeyAndWindow 窗口长度：必须是B...
Python 面向对象编程笔记：内置函数/方法的应用
05-30
好的，针对你的问题，我可以为你提供一些关于 Python 面向对象编程中内置函数/方法的应用的笔记。具体内容如下： 1. `__init__`: 构造函数，用于初始化对象的属性。 2. `__str__`: 用于返回对象的字符串表示形式。 3. `__repr__`: 用于返回对象的“官方”表示形式，通常用于调试。 4. `__len__`: 用于返回对象的长度。 5. `__getitem__`: 用于获取对象中指定位置的元素。 6. `__setitem__`: 用于设置对象中指定位置的元素。 7. `__delitem__`: 用于删除对象中指定位置的元素。 8. `__contains__`: 用于判断对象中是否包含指定的元素。 以上是 Python 面向对象编程中常用的内置函数/方法，它们可以帮助我们更方便地操作对象的属性和行为，提高代码的可读性和可维护性。当然，还有很多其他的内置函数/方法，你可以根据具体情况进行选择和应用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值