SparkSql读取多行json文件产生-- _corrupt_record: string (nullable = true)错误！！

所用的软件版本：

spark2.3.0

hbase1.4.6

IDEA2019.1

在利用spark.read.json("e:/test.json")读取多行的json文件，利用DataFrame的DF.show()显示，除了_corrupt_record这行有全部的json内容，其他column全部都是null，DF.printSchema()的结果是：

root
 |-- _corrupt_record: string (nullable = true)

https://stackoverflow.com/questions/38545850/read-multiline-json-in-apache-spark

https://stackoverflow.com/questions/49427623/could-not-read-data-from-json-using-pyspark

https://stackoverflow.com/questions/38895057/reading-json-with-apache-spark-corrupt-record

网上查询发现要添加下面这一行：

spark.read
.option("multiLine", true).option("mode", "PERMISSIVE")
.json("e:/test.json")

 

 

做好记录，供以后参考！！