该篇博客展示了如何在PySpark环境中对DataFrame进行数据操作，具体包括创建一个包含多值列的DataFrame，然后使用split和explode函数将多值列拆分为多行，从而实现数据的展开。这个过程对于数据预处理和分析非常关键，特别是当需要将一列中的多个值转化为单独的行记录时。
这是一个可重复的例子：
# Create dummy data
df = sc.parallelize([(1, 2, 3, 'a b c'),
(4, 5, 6, 'd e f'),
(7, 8, 9, 'g h i')]).toDF(['col1', 'col2', 'col3','col4'])
# Explode column
from pyspark.sql.functions import split, explode
df.withColumn('col4',explode(split('col4',' '))).show()
+----+----+----+----+
|col1|col2|col3|col4|
+----+----+----+----+
| 1| 2| 3| a|
| 1| 2| 3| b|
| 1| 2| 3| c|
| 4| 5| 6| d|
| 4| 5| 6| e|
| 4| 5| 6| f|
| 7| 8| 9| g|
| 7| 8| 9| h|
| 7| 8| 9| i|
+----+----+----+----+
扫一扫
5884
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
