最近在各种测试Hive,结果发现三个节点服务器的磁盘都快爆满了,通过hadoop fs -du -h /发现HDFS上存储数据的并不多,然后就把问题锁定在MR的临时文件上(因为经常中断MR程序),后来发现在hadoop/data/nm-local-dir下看到了usercache用户缓存,居然有5.4G,还只是一个节点。
直接将三台节点服务器的usercache全部删除,看到磁盘多了不少空间,又可以继续快乐的实验
最近在各种测试Hive,结果发现三个节点服务器的磁盘都快爆满了,通过hadoop fs -du -h /发现HDFS上存储数据的并不多,然后就把问题锁定在MR的临时文件上(因为经常中断MR程序),后来发现在hadoop/data/nm-local-dir下看到了usercache用户缓存,居然有5.4G,还只是一个节点。
直接将三台节点服务器的usercache全部删除,看到磁盘多了不少空间,又可以继续快乐的实验