利用spark将parquet文件转存储为CSV文件

最新推荐文章于 2023-10-09 14:56:25 发布

qq_42048263

最新推荐文章于 2023-10-09 14:56:25 发布

阅读量1.4k

点赞数

分类专栏： python spark 文章标签： spark 大数据 pandas

本文链接：https://blog.csdn.net/qq_42048263/article/details/126631422

版权

python 同时被 2 个专栏收录

4 篇文章 2 订阅

订阅专栏

spark

1 篇文章 0 订阅

订阅专栏

from pyspark import SparkConf
from pyspark.sql import SparkSession

#创建spark会话
spark = SparkSession.builder.getOrCreate()
parquetfile='parquet_file_name.parquet'

df=spark.read.parquet(curfile) #读取parquet文件

# df.printSchema()
#显示第一行
# print(df.first())

df.write.option("header",True) .csv("jupyter_workspace/data/20220831")


#参考 https://sparkbyexamples.com/pyspark/pyspark-write-dataframe-to-csv-file/