Spark 合并小文件失败 出现IOException :No space left on device 定位
记录一下导师周末给菜鸟实习生安排的任务
背景
Flume在采集数据的时候向HDFS中写入会生成很多小文件,现在的话是通过spark 写的一个程序去合并这些小文件,但是会出现合并小文件失败的情况,按理来说这是很简单的一个Job,不应该有失败的理由,于是就开始了下面的旅程:
定位问题:
首先找到错误日志,发现是启动merge脚本的时候出现异常
从上面的异常定位到下面的异常,发现是spark出现的IO...
原创
2019-12-15 15:17:52 ·
1981 阅读 ·
0 评论