Convert Pyspark dataframe to dictionary

最新推荐文章于 2024-05-05 14:13:46 发布

AcceptedLin

最新推荐文章于 2024-05-05 14:13:46 发布

阅读量2.8k

点赞数

分类专栏： Spark Python

原文链接：https://stackoverflow.com/questions/59955771/convert-pyspark-dataframe-to-dictionary

版权

Python 同时被 2 个专栏收录

125 篇文章

订阅专栏

Spark

33 篇文章

订阅专栏

本文介绍两种将PySpark DataFrame转换为字典的方法。方法一使用RDD和lambda表达式，方法二利用withColumn和create_map函数，适用于大数据处理场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Convert Pyspark dataframe to dictionary

input:

Col0, Col1
-----------
A153534,BDBM40705
R440060,BDBM31728
P440245,BDBM50445050

output:

{'A153534': 'BDBM40705'}, {'R440060': 'BDBM31728'}, {'P440245': 'BDBM50445050'}

Method1:

df.rdd.map(lambda x: {x.Col0: x.Col1}).collect()

[{'A153534': 'BDBM40705'}, {'R440060': 'BDBM31728'}, {'P440245': 'BDBM50445050'}]

Method2:

df = spark.read.csv('/FileStore/tables/Create_dict.txt',header=True)

df = df.withColumn('dict',to_json(create_map(df.Col0,df.Col1)))

df_list = [row['dict'] for row in df.select('dict').collect()]

print df_list

['{"A153534":"BDBM40705"}',
 '{"R440060":"BDBM31728"}',
 '{"P440245":"BDBM50445050"}']