Pyspark中pyspark.sql.functions常用方法（1）

于 2024-10-12 09:38:22 发布
阅读量955 收藏 19
点赞数 26
分类专栏： PySpark使用笔记 文章标签： python pyspark hive 数据库 spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43322583/article/details/142869653
版权

文章目录

pyspark sql functions（1）

spark.range

Spark的range()函数用于生成一个指定范围内的连续整数序列
具体来说，range(start, end, step)函数接受三个参数：
start：序列的起始值。
end：序列的结束值（不包括此值）。
step：序列中每个数的间隔。

spark.range(0,3,).show()
+---+
| id|
+---+
|  0|
|  1|
|  2|
+---+
spark.range(0,3,2).show()
+---+
| id|
+---+
|  0|
|  2|
+---+

col alias column

from pyspark.sql.functions import col

以下是一些 col() 函数的常见用法示例：

  1. 选择列：

    df.select(col("column_name"))

  2. 进行条件过滤：

    df.filter(col("column_name") > 5)

  3. 创建新列：

    df.withColumn("new_column", col("column1") + col("column2"))

  4. 嵌套函数调用：

    df.withColumn("new_column", sqrt(col("column1")))

通过使用 col() 函数，你可以对 DataFrame 的列执行各种转换和操作，例如选择、过滤、计算等。它提供了一种方便的方式来处理列级别的操作，同时使代码更易读和可维护。

lit 创建常量列

from pyspark.sql.functions import lit
from pyspark.sql import functions as sf

df.select(lit(5).alias('height'), df.id).show()
+------+---+
|height| id|
+------+---+
|     5|  0|
+------+---+

spark.createDataFrame([[12,13],[12,13]],['age1','age2']).show()
+----+----+
|age1|age2|
+----+----+
|  12|  13|
|  12|  13|
+----+----+

df.withColumn('age3',lit('11')).show()
+----+----+----+
|age1|age2|age3|
+----+----+----+
|  12|  13|  11|
|  12|  13|  11|
+----+----+----+

broadcast 广播表

用于在 Spark SQL 的任务中广播小表，以优化 join 操作。当执行 join 操作时，如果其中一个表非常小，可以使用这个函数将其广播到所有节点上，这样在节点间进行 join 操作时就不需要移动大量的数据，可以显著提高性能。

from pyspark.sql import types
# col 名value
df = spark.createDataFrame([1, 2, 3, 3, 4], types.IntegerType())
# col 为id
df_small = spark.range(3)
# 广播
df_b = broadcast(df_small)
df.join(df_b, df.value == df_small.id).show()
+-----+---+
|value| id|
+-----+---+
|    1|  1|
|    2|  2|
+-----+---+

coalesce 合并列 (none)

它用于合并列表中的列，并返回第一个非空（非null）值（跟顺序有关）。如果所有列都是空值，则结果为空值。

cDf = spark.createDataFrame([(None, None), (1, None), (None, 2)], ("a", "b"))
cDf.show()
+----+----+
|   a|   b|
+----+----+
|NULL|NULL|
|   1|NULL|
|NULL|   2|
+----+----+

# 合并 a,b 当都为空则只能返回空
cDf.select(coalesce(cDf["a"], cDf["b"])).show()
+--------------+
|coalesce(a, b)|
+--------------+
|          NULL|
|             1|
|             2|
+--------------+

cDf.show()
+----+----+
|   a|   b|
+----+----+
|null|null|
|   1|null|
|   3|   2|
+----+----+

# 跟顺序也有关系
cDf.select(coalesce(cDf["b"], cDf["a"])).show()
+--------------+
|coalesce(b, a)|
+--------------+
|          null|
|             1|
|             2|
+--------------+
# 改变顺序返回的第一个值发生变化
cDf.select(coalesce(cDf["a"], cDf["b"])).show()
+--------------+
|coalesce(a, b)|
+--------------+
|          null|
|             1|
|             3|
+--------------+

isnan 判断nan值

df = spark.createDataFrame([(1.0, float('nan')), (float('nan'), 2.0)], ("a", "b"))
df.show()
+----+----+
|   a|   b|
+----+----+
|   1|null|
|null|   2|
+----+----+
df.select("a", "b", isnan("a").alias("r1"), isnan(df.b).alias("r2")).show()
+---+---+-----+-----+
|  a|  b|   r1|   r2|
+---+---+-----+-----+
|1.0|NaN|false| true|
|NaN|2.0| true|false|
+---+---+-----+-----+

isnull 判断None值

df = spark.createDataFrame([(1, None), (None, 2)], ("a", "b"))
df.show()
+---+---+
|  a|  b|
+---+---+
|1.0|NaN|
|NaN|2.0|
+---+---+
df.select("a", "b", isnull("a").alias("r1"), isnull(df.b).alias("r2")).show()
+----+----+-----+-----+
|   a|   b|   r1|   r2|
+----+----+-----+-----+
|   1|NULL|false| true|
|NULL|   2| true|false|
+----+----+-----+-----+

nanvl 合并列 （nan）

如果col1不是NaN，则返回col1，如果col1是NaN，返回col2。
两个输入都应该是浮点列（DoubleType或FloatType）。

df = spark.createDataFrame([(1.0, float('nan')), (float('nan'), 2.0)], ("a", "b"))
df.show()
+---+---+
|  a|  b|
+---+---+
|1.0|NaN|
|NaN|2.0|
+---+---+
from pyspark.sql.functions import nanvl
df.select(nanvl("a", "b").alias("r1"), nanvl(df.a, df.b).alias("r2")).show()
+---+---+
| r1| r2|
+---+---+
|1.0|1.0|
|2.0|2.0|
+---+---+

udf 自定义函数

是 PySpark 中用于定义用户自定义函数（UDF）的工具。UDF允许你在Spark DataFrame中使用Python函数处理数据。UDF的性能通常不如内置的Spark函数，因为它们会引入额外的Python虚拟机开销。只有当没有其他选项时才应该使用UDF。

from pyspark.sql.functions import col,udf
from pyspark.sql.types import IntegerType
# 自定义函数
get_weight = udf(lambda s: int(s.split(",")[1]), IntegerType())
df2 = df1.withColumn("weight", get_weight(f.col("height_weight")))
df2.show()
+----+-------------+------+
|name|height_weight|weight|
+----+-------------+------+
|a|       165,70|    70|
|b|       163,75|    75|
|c|       167,65|    65|
|d|       176,60|    60|
+----+-------------+------+

# 使用装饰器自定义
@udf
def ldsx(x):
    return int(x.split(",")[1])

df1.withColumn("weight", ldsx(col("height_weight"))).show()
+----+-------------+------+
|name|height_weight|weight|
+----+-------------+------+
|赵四|       165,70|    70|
|刘能|       163,75|    75|
|广坤|       167,65|    65|
|浩哥|       176,60|    60|
+----+-------------+------+
df1.withColumn("weight", ldsx(col("height_weight"))).printSchema()
root
 |-- name: string (nullable = true)
 |-- height_weight: string (nullable = true)
 |-- weight: string (nullable = true

# 装饰器带参数
@udf(returnType=IntegerType())
def ldsx(x):
    return int(x.split(",")[1])
df1.withColumn("weight", ldsx(f.col("height_weight"))).printSchema()
root
 |-- name: string (nullable = true)
 |-- height_weight: string (nullable = true)
 |-- weight: integer (nullable = true)

ex:

df = spark.createDataFrame([(1, "John Doe", 21)], ("id", "name", "age"))
df.show()
+---+--------+---+
| id|    name|age|
+---+--------+---+
|  1|John Doe| 21|
+---+--------+---+

slen = udf(lambda s: len(s), IntegerType())
@udf
def to_upper(s):
    if s is not None:
        return s.upper()

@udf(returnType=IntegerType())
def add_one(x):
    if x is not None:
        return x + 1

df.select(slen("name").alias("slen(name)"), to_upper("name"), add_one("age")).show()
+----------+--------------+------------+
|slen(name)|to_upper(name)|add_one(age)|
+----------+--------------+------------+
|         8|      JOHN DOE|          22|
+----------+--------------+------------+

rand 随机列 ，randn 随机正态分布

parameters: seed:int 随机生成器的种子值，种子固定则随机值固定。取值范围0.0,~~1.0

return column

# 固定种子
spark.range(0, 2, 1, 1).withColumn('rand', sf.rand(seed=42) * 3).show()
+---+------------------+
| id|              rand|
+---+------------------+
|  0|1.8575681106759028|
|  1|1.5288056527339444|
+---+------------------+

# 不使用种子进行随机
spark.range(0, 2, 1, 1).withColumn('rand', sf.rand() *3).show()
+---+-------------------+
| id|               rand|
+---+-------------------+
|  0|0.13415045833565098|
|  1| 1.0979329499109334|
+---+-------------------+
spark.range(0, 2, 1, 1).withColumn('rand', sf.rand() *3).show()
+---+-------------------+
| id|               rand|
+---+-------------------+
|  0| 0.2658713153576896|
|  1|0.15252418082890773|
+---+-------------------+

spark_partition_id 获取分区id

df.repartition(50).withColumn('pid',sf.spark_partition_id()).show()
+---+---+
| id|pid|
+---+---+
|  5|  0|
| 69|  0|
| 37|  1|
| 77|  1|
| 25|  2|
| 59|  2|
| 31|  3|
| 81|  3|
| 30|  4|
| 95|  4|
| 23|  5|
| 67|  5|
| 32|  6|
| 90|  6|
|  6|  7|
| 52|  7|
| 42|  8|
| 61|  8|
| 16|  9|
| 66|  9|
+---+---+
only showing top 20 rows

when 与 otherwise 配合使用

如果未调用Column.otherwise（），则对于不匹配的条件将返回None

df = spark.createDataFrame(
     [(2, "Alice"), (5, "Bob")], ["age", "name"])
     
df.show()
+---+-----+
|age| name|
+---+-----+
|  2|Alice|
|  5|  Bob|
+---+-----+

# 查询条件进行筛选，当when不配合otherwise 默认使用null代替
df.select(df.name, when(df.age > 3, 1)).show()
+-----+------------------------------+
| name|CASE WHEN (age > 3) THEN 1 END|
+-----+------------------------------+
|Alice|                          null|
|  Bob|                             1|
+-----+------------------------------+

# 使用otherwise 的条件代替null
df.select(df.name, when(df.age > 3, 1).otherwise(0)).show()
+-----+-------------------------------------+
| name|CASE WHEN (age > 3) THEN 1 ELSE 0 END|
+-----+-------------------------------------+
|Alice|                                    0|
|  Bob|                                    1|
+-----+-------------------------------------+

expr 将字符串转换为表达式 等价 df.selectExpr

df = spark.createDataFrame([["Alice"], ["Bob"]], ["name"])
df.select("name", expr("length(name)")).show()
+-----+------------+
| name|length(name)|
+-----+------------+
|Alice|           5|
|  Bob|           3|
+-----+------------+

df.selectExpr('length(name) as name','name as new_name').show()
+----+--------+
|name|new_name|
+----+--------+
|   5|   Alice|
|   3|     Bob|
+----+--------+

greatest 多列获取最大值

返回列名列表中的最大值，跳过空值。此函数至少需要2个列。如果所有参数都为null，它将返回null。

df = spark.createDataFrame([(1, 4, 3)], ['a', 'b', 'c'])
df.show()
+---+---+---+
|  a|  b|  c|
+---+---+---+
|  1|  4|  3|
+---+---+---+
# 三列比较
df.select(sf.greatest(df.a, df.b, df.c).alias("greatest")).show()
+--------+
|greatest|
+--------+
|       4|
+--------+
# 两列比较
df.select(sf.greatest(df.a, df.c).alias("greatest")).show()
+--------+
|greatest|
+--------+
|       3|
+--------+

least 多列获取最小值

df = spark.createDataFrame([(1, 4, 3)], ['a', 'b', 'c'])
df.select(sf.least(df.a, df.b, df.c).alias("least")).show()

+-----+
|least|
+-----+
|    1|
+-----+

abs 绝对值

参数：列名

df = spark.range(1)
df.select(abs(lit(-1))).show()
+-------+
|abs(-1)|
+-------+
|      1|
+-------+

sqrt 计算指定浮点值的平方根

参数：列名

df = spark.range(1)
df.select(sqrt(lit(4))).show()
+-------+
|SQRT(4)|
+-------+
|    2.0|
+-------+

bin 返回给定列的二进制值的字符串

df.select(sf.bin(df.v2).alias('c')).show()
+---+
|  c|
+---+
|101|
+---+

power 第一列底数，第二列幂 返回结果

df.select(pow(sf.lit(3), sf.lit(2))).show()
+-----------+
|POWER(3, 2)|
+-----------+
|        9.0|
+-----------+
百流
关注
专栏目录
PySpark_Day06：SQL and DataFrames.pdf
03-24
from pyspark.sql.functions import count, groupBy result = iris_df.groupBy('species').agg(count('*').alias('count')) result.show() ``` 这里 `groupBy` 方法用于分组，`agg` 方法用于聚合操作，`count('*')...
pyspark.sql.functions详解
热门推荐
htbeker的博客
01-16 2万+
pyspark.sql.functions包含了很多内置函数。 1.pyspark.sql.functions.abs(col) 计算绝对值。 2.pyspark.sql.functions.acos(col) 计算给定值的反余弦值; 返回的角度在0到π的范围内。 3.pyspark.sql.functions.add_months(start, months) 返回start后mon...
pyspark.sql.functions
qq_40176087的博客
09-05 2849
文章目录 pyspark.sql.functions是一个内置函数的集合，该模块功能强大,API函数众多，可能并不会每个都会讲到，但是重点的、难的、经常使用的一定会讲解到的。 ...
【Python笔记】pyspark.sql.functions
西瓜太郎
06-20 6730
文章目录1 pyspark.sql.functions.abs(col)2 pyspark.sql.functions.acos(col)3 pyspark.sql.functions.add_months(start, months)4 pyspark.sql.functions.approxCountDistinct(col, rsd=None)5 pyspark.sql.functions.array(*cols)6 pyspark.sql.functions.array_contains(col,.
pyspark.sql-functions+types模块
November、Chopin
12-07 1500
pyspark.sql.functions模块：内置函数集合
python col函数,在pyspark中找不到col函数
weixin_29706315的博客
01-28 808
In pyspark 1.6.2, I can import col function byfrom pyspark.sql.functions import colbut when I try to look it up in the Github source code I find no col function in functions.py file, how can python im...
pyspark给dataframe增加新的一列的实现示例
09-17
在Pandas中，我们可以直接用字典的方式给DataFrame添加新列，但在Pyspark中，我们需要使用不同的方法。本文将详细介绍如何在Pyspark DataFrame中添加新的列。 首先，确保已经正确地创建了SparkSession，这是访问...
flask+pySpark做的小项目
03-29
PySpark提供了丰富的函数和模块，如`pyspark.sql.functions`，用于执行各种聚合操作和复杂的数据挖掘。 5. **数据可视化**: 通过可视化工具，如Matplotlib、Seaborn或Plotly，将分析结果展示为图表，如条形图、折线...
使用pyspark统计在线人数
05-22
1. **读取CSV数据**：`pyspark` 提供了 `SparkSession` 类，可以通过其 `read` 方法读取 CSV 文件。例如： ```python from pyspark.sql import SparkSession spark = SparkSession.builder.appName('OnlineCount...
Python For Data Science Cheat Sheet PySpark - SQL Basics
09-28
from pyspark.sql import functions as F df.select("firstName", F.when(df.age > 30, 1).otherwise(0)).show() ``` #### Filtering Data Filtering data based on certain conditions is another essential ...
PySpark数据分析基础:核心数据类Row和Column原理及常用操作一文详解
master_hunter的博客
02-03 3474
如果之前不接触python的pandas我觉得上手pyspark会更快，原因在于pandas的dataframe操作API实在是好用，功能代码使用简便而且容易理解，相对于pyspark中的sql.dataframe就显得十分出色了。sql.dataframe数据类型的底层构造是完全和python中pandas完全不同的，而是强关联与spark的dataframe，二者有本质的区别，当然函数功能操作也是有很大的不同。
pyspark学习-spark.sql.functions 聚合函数
天天学习的博客
01-30 701
"""作用:返回该组第一个数值,和groupBy合用，会显示分组之后，各个组的第一个场景:参数:col:列名ignorenulls：是否忽略控制返回:column:返回该组第一个数值""""""作用:返回该组第最后一个数值,和groupBy合用，会显示分组之后，各个组的最后一个场景:参数:col:列名ignorenulls：是否忽略控制返回:column:返回该组第最后一个数值"""print("按照age排序前")print("按照age倒排序后")#last。
pyspark.sql.functions.lit(col)
Jaffir的博客
12-17 5071
Creates a Column of literal value df.select(lit(5).alias(‘height’)).withColumn(‘spark_user’, lit(True)).take(1) [Row(height=5, spark_user=True)]
pyspark笔记 pyspark.sql.functions
qq_40206371的博客
08-13 237
评估一组条件，并返回多个可能的结果表达式之一。正常的带otherwise的when语句。对when之后的column名字进行修改。将日期截取成由第一个参数指定的字符串值。，则对于未匹配的条件将返回None。创建一个包含指定值的列。没有otherwise。
pyspark操作 rdd dataframe，pyspark.sql.functions详解 行列变换
全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio
08-05 5510
官网文档可以参考：https://spark.apache.org/docs/latest/api/python/index.html 我们采用本地实验的方式，来学习下语法 face.csv文件内容如下 image_id,device_id,date_str,age,gender,glass,hat,feat 2019-03-09_8_0007f1a502433ee0d80c7f14c3bf7bc...
PySpark sql 中一些函数的总结（持续更新）
Matrix_cc的博客
01-29 1303
spark sql 常见的函数
pyspark.sql.functions中的col函数
微信公众号（年更选手）：数据闲逛人 | Github开源项目：数分/数挖study路线 https://github.com/jc-dian/python_data_analysis
01-04 5859
        嗨喽! 大家好，我是“流水不争先，争得滔滔不绝”的翀，欢迎大家来交流学习，一起入坑数据分析，希望我们一起好好学习，天天向上，目前在社会毒打中~~ col函数的作用相当于python中的dadaframe格式的提取data[‘id’],关键是能够进行计算。可能有点难以理解，下面我举行一些例子说明 spark中我们想查看一下某列数据可以这么做 df_kol_stats.select(col("collect_count")).show(5) +---.
import pyspark from pyspark.sql import SparkSession from pyspark.sql import functions as F
最新发布
10-29
在PySpark中，你可以使用`pyspark.sql.functions`模块来执行一些高级操作，比如对数据进行转换或计算。这里有两个主要的操作： 1. 计算列的绝对值[^1]: ```python # 假设有一个DataFrame df，其中有一列名为"some_column" spark = SparkSession.builder.getOrCreate() df_with_abs = df.withColumn("abs_col", F.abs(df["some_column"])) ``` 这将在原始DataFrame上添加一列，其值为相应"some_column"列元素的绝对值。 2. 使用`lit()`函数创建常量表达式[^2]，这对于在查询中设置静态值很有用： ```python # 如果你想在一个SQL查询中插入一个固定值，例如作为筛选条件 fixed_value = F.lit('example_value') filtered_df = df.filter(df["another_column"] == fixed_value) ``` 这将返回一个新的DataFrame，其中只包含"another_column"等于'example_value'的行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值