本文探讨了Spark在处理CSV数据时遇到的多行数值解析问题。在Spark 2.2之前的版本中，读取CSV会出现异常，需要通过读取二进制文件作为临时解决方案。而在Spark 2.2及更高版本中，官方修复了这个问题，可以通过设置`multiLine`参数来正确解析多行单元格的CSV文件。
CSV 样例数据
[hadoop@ip-10-0-52-52 ~]$ cat test.csv
id,name,address
1,zhang san,china shanghai
2,li si,"china
beijing"
3,tom,china shanghaiSpark 2.2 以下版本读取 CSV
会存在读取异常问题
scala> val df1 = spark.read.option("header", true).csv("file:///home/hadoop/test.csv")
df1: or
最低0.47元/天 解锁文章
9275
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
