问题描述:
使用hadoop jar命令执行MapReduce任务,报错如下
查看大数据提交机的磁盘使用情况:
df -h
发现/tmp目录空间没有用满
查看inode使用情况:
df -i
/tmp目录的inode已经用满了。。。
查看/tmp目录的使用情况:
发现有许多MapReduce任务提交的临时目录,可以清理掉:
清理完后,再次统计,发现inode的使用量不到1%了。
此时正常提交MapReduce任务成功。
yeah。。。。
Linux还是细节多啊。。。
那为啥/tmp目录下会有这么多的hadoop-unjarxxxxx目录呢?
原来hadoop在执行MapReduce任务的时候,会在hadoop的临时目录生成一些临时文件,就是这个hadoop-unjarxxx,任务执行完成后,会主动删除这个临时目录hadoop-unjarxxx, 但是我们偶尔会遇到一些情况,导致hadoop任务异常结束,没有清理掉这个任务的临时目录,临时文件就会越来越多啦。。。
比如,我们执行一个MapReduce任务,然后查看/tmp目录,会发现有个临时目录
等任务执行后,再次查询/tmp目录,原来任务的临时目录已经没有了,现在的是另一个任务的临时目录
咳咳。。。
通过ls -i命令可以查看各个目录的inode使用情况哟。。