Unexpected end of input stream（Spark)解决

最新推荐文章于 2023-11-11 19:25:57 发布

功夫猫熊yeah

最新推荐文章于 2023-11-11 19:25:57 发布

阅读量4.9k

点赞数 3

文章标签： spark 大数据

本文链接：https://blog.csdn.net/weixin_39031707/article/details/90898983

版权

Unexpected end of input stream错误，错误日志如下：
在这里插入图片描述

主要原因是gz.gz这种文件无法解压，碰巧gz.gz又是空文件，所以可以在spark-submit加参数忽略他

--conf spark.sql.files.ignoreCorruptFiles=true
//完整的提交语句如下
spark-submit --master yarn --deploy-mode cluster --conf spark.sql.files.ignoreCorruptFiles=true --conf spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=2 --driver-memory 2G  --class com.yeahmobi.dw.BidDetailToHive s3://xxx/xxx/xx-xx-1.0-SNAPSHOT.jar

ps.这个参数在spark2.1以后才有效

参考文献