pyspark系列--集合操作

最新推荐文章于 2024-08-29 08:06:45 发布

振裕

最新推荐文章于 2024-08-29 08:06:45 发布

阅读量4.4k

点赞数 5

分类专栏： spark 数据分析文章标签： spark

本文链接：https://blog.csdn.net/suzyu12345/article/details/79673586

版权

这篇博客详细介绍了PySpark中关于集合的操作，包括创建map、列表、元素存在判断、数据拉直、posexplode函数的使用，以及详尽的json操作，如get_json_object、json_tuple、from_json和to_json。同时，还涵盖了列表排序等实用技巧。

摘要由CSDN通过智能技术生成

汇总函数

1. 创建map
2. 创建列表
3. 元素存在判断
4. 数据拉直
5. posexplode
6. json操作
7. 列表排序

1. 创建map

# Creates a new map column.
from pyspark.sql.functions import create_map

df = spark.createDataFrame([(1, "John Doe", 21)], ("id", "name", "age"))
df.show()

df.select(create_map([df.name, df.age]).alias("map")).show()
# +-------------------+
# |                map|
# +-------------------+
# |Map(John Doe -> 21)|
# +-------------------+