Spark 读取gz文件报 java.io.EOFException: Unexpected end of input stream

先看一下需要读取的gz文件

有几个是gz格式的空文件，问题就在这里。

spark-submit添加参数再运行就没问题了。

--conf spark.sql.files.ignoreCorruptFiles=true

这个参数在spark2.1以后才有效。