hadoop jar执行任务，报错 java.io.FileNotFoundException:/tmp/hadoop-unjarxxxx/...(no space left on device)

问题描述：

使用hadoop jar命令执行MapReduce任务，报错如下

查看大数据提交机的磁盘使用情况：

df -h

发现/tmp目录空间没有用满

查看inode使用情况：

df -i

/tmp目录的inode已经用满了。。。

查看/tmp目录的使用情况：

发现有许多MapReduce任务提交的临时目录，可以清理掉：

清理完后，再次统计，发现inode的使用量不到1%了。

此时正常提交MapReduce任务成功。

yeah。。。。

Linux还是细节多啊。。。

 

那为啥/tmp目录下会有这么多的hadoop-unjarxxxxx目录呢？

原来hadoop在执行MapReduce任务的时候，会在hadoop的临时目录生成一些临时文件，就是这个hadoop-unjarxxx，任务执行完成后，会主动删除这个临时目录hadoop-unjarxxx, 但是我们偶尔会遇到一些情况，导致hadoop任务异常结束，没有清理掉这个任务的临时目录，临时文件就会越来越多啦。。。

比如，我们执行一个MapReduce任务，然后查看/tmp目录，会发现有个临时目录

等任务执行后，再次查询/tmp目录，原来任务的临时目录已经没有了，现在的是另一个任务的临时目录

咳咳。。。

通过ls -i命令可以查看各个目录的inode使用情况哟。。