5. org.apache.spark.sql.DataFrame = [_corrupt_record: string]

5.

org.apache.spark.sql.DataFrame = [_corrupt_record: string]

读取json文件报错。

 

读取json文件报错。

此问题首先要明白spark读取文件的原理，是按行作为一个record，所以你要看下你的json文件是否是平整的。下面我举个例子，

原json文件内容如下：【文件中存在换行符】

 

 

此贴来自汇总贴的子问题，只是为了方便查询。

总贴请看置顶帖：

pyspark及Spark报错问题汇总及某些函数用法。

https://blog.csdn.net/qq0719/article/details/86003435