PysparkNote101---DataFrame行转列

最新推荐文章于 2024-10-23 17:46:31 发布

维格堂406小队

最新推荐文章于 2024-10-23 17:46:31 发布

阅读量608

点赞数

分类专栏： ★★★PySpark # ★★Pyspark基础

本文链接：https://blog.csdn.net/wendaomudong_l2d4/article/details/108667663

版权

★★★PySpark 同时被 2 个专栏收录

13 篇文章 0 订阅

订阅专栏

★★Pyspark基础

13 篇文章 0 订阅

订阅专栏

sql里经常会遇到行转列or列转行，如果数据框为{“A”,[1,2])}，需要行转列为{(“A”,1),(“B”,2)}。话不多说，直接看代码。

import pyspark.sql.functions as F
from pyspark.sql import SparkSession
# 创建SparkSession对象，调用.builder类
# .appName("testapp")方法给应用程序一个名字；.getOrCreate()方法创建或着获取一个已经创建的SparkSession
spark = SparkSession.builder.appName("pysaprk").getOrCreate()

df = spark.createDataFrame(data=[("A", [1, 2]), ("B", [3, 4])],
                            schema=["id", "index"])

df.withColumn("index_sub",F.explode(F.col("index"))).show(truncate=False)

+---+------+---------+
|id |index |index_sub|
+---+------+---------+
|A  |[1, 2]|1        |
|A  |[1, 2]|2        |
|B  |[3, 4]|3        |
|B  |[3, 4]|4        |
+---+------+---------+

2020-09-18 于南京市江宁区九龙湖