问题描述:
在namenode页面发现,好多主机的Non DFS Used使用非常大,大大减少了HDFS磁盘剩余可用容量,存在异常
通常,Non DFS Used = 配置的容量 - 剩余容量 - DFS使用容量
而配置容量 = 总容量 - 预留空间(总容量为磁盘的总大小,预留空间为默认的5%)
所以,Non DFS used=(总容量-预留空间)- 剩余容量 - DFS使用容量
也可以通俗的说,"Non DFS used" 就是代表"配置的dfs空间有多少空间是被非hdfs文件占用了的"
造成Non DFS Used使用过大,可能产生的原因是:
因为集群里启动了historyserver,这个进程在删除了临时文件之后,并没有释放文件句柄,所以导致Non DFS Used 数值很大,而用df和du查看的时候,磁盘空间并未被占用。这个与版本也有一定的关系,在后期的新版本中,这个问题就比较少。
解决方法:<