pyspark 给dataframe增加新的一列

晓东邪

于 2019-12-12 23:08:30 发布

阅读量1.2w

点赞数 5

分类专栏： pyspark 文章标签： pyspark spark dataframe

本文链接：https://blog.csdn.net/xiaodongxiexie/article/details/103518308

版权

本文介绍了在PySpark DataFrame中添加新列的方法，包括增加常数项、基于现有列进行简单计算（如使用`withColumn`和`lit`函数），以及如何定制化根据某列进行复杂计算。通过实例展示了在没有现成函数时如何自定义操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

给`pyspark`中的`dataframe`新增列

熟悉pandas的pythoner 应该知道给dataframe增加一列很容易，直接以字典形式指定就好了，pyspark中就不同了，摸索了一下，可以使用如下方式增加

from pyspark import SparkContext
from pyspark import SparkConf
from pypsark.sql import SparkSession
from pyspark.sql import functions

spark = SparkSession.builder.config(conf=SparkConf()).getOrCreate()

data =      [['Alice', 19, 'blue', '["Alice", 19, "blue"]'],
			 ['Jane', 20, 'green', '["Jane", 20, "green"]'],
 			 ['Mary', 21, 'blue', '["Mary", 21, "blue"]'], ]
frame = spark.createDataFrame(data, schema=["name", "age", "eye_color", "detail"])

frame.cache()
frame.show()