pyspark AnalysisException: u'Text data source supports only a single column, and you have 5 columns

2019独角兽企业重金招聘Python工程师标准>>>

pyspark dataframe 多列数据当我们想存储为text格式的时候：

df.coalesce(1).write.format("text").option("header", "false").mode("append").save("<path>")

我们发现报错：

pyspark.sql.utils.AnalysisException: 'Text data source supports only a single column,

解决办法就是将多列拼接为一列string字符串

dataFrameWithOnlyOneColumn = dataFrame.select(concat(*dataFrame.columns).alias('data'))
dataFrameWithOnlyOneColumn.coalesce(1).write.format("text").option("header", "false").mode("append").save("<path>")

 

转载于:https://my.oschina.net/u/2000675/blog/2967538