hdfs Non DFS Used 占用空间大,用du -h 看磁盘空间还在,但web页面显示Non DFS Used占用了特别多的空间,整个集群的Remaining空间几乎没有了
解决方案:
重启hadoop 的 historyserver
重启hadoop 的 historyserver
mr-jobhistory-daemon.sh start historyserver
重启dfs
start-dfs.sh
产生的原因:
因为集群里启动了historyserver,这个进程在删除了临时文件之后,并没有释放文件句柄,所以导致Non DFS Used 数值很大,而用df和du查看的时候,磁盘空间并未被占用