Spark 合并小文件失败 出现IOException ：No space left on device 定位

记录一下导师周末给菜鸟实习生安排的任务

背景

Flume在采集数据的时候向HDFS中写入会生成很多小文件，现在的话是通过spark 写的一个程序去合并这些小文件，但是会出现合并小文件失败的情况，按理来说这是很简单的一个Job，不应该有失败的理由，于是就开始了下面的旅程：

定位问题：

首先找到错误日志，发现是启动merge脚本的时候出现异常

从上面的异常定位到下面的异常，发现是spark出现的IO Exception

异常字面上的理解就是磁盘空间不足，导致出现IOException ：No space left on device异常。开始看问题出在哪里，根据大佬的博客借鉴说是Shuffle的过程中出现的空间不足，随后根据spark配置的spark.local.dir的目录（默认是/tmp）去一探究竟。

通过df -h /tmp 命令（不是很清楚Linux的小伙伴可以学习一下，很有用的命令）可以看到/tmp对应的分区/dev/sdc1的磁盘使用量高达78%，随时都可能会爆满，所以在shuffle的过程中很容易出现上面的IOException ：No space left on device。

解决办法

在spark的配置文件spark-defaults.conf修改spark.local.dir 的参数，指定一个容量比较大的目录即可。（公司机器资源相对多的情况下就指定容量大的目录最快了，当然也可以通过修改自己的Job submit程序或者修改spark源码的方式去解决问题，但是需要的时间就久一点，自己目前正在研究spark源码刚入门，暂时就只能采取最简单的方式了）

参考：

https://blog.csdn.net/yhao2014/article/details/51159189
https://blog.csdn.net/chanbo8205/article/details/85229453
https://blog.51cto.com/12643266/2352355