0443-CM上HDFS容量显示与实际命令不一致问题分析

本文分析了在Cloudera Manager中HDFS容量显示与通过HDFS界面和命令行得到的实际使用量不一致的情况。问题在于Cloudera Manager的显示包括了DFS和非DFS使用的空间,而Non DFS Used部分是为系统和其他非HDFS文件预留的空间。当非HDFS文件占用超过预留空间时,会占用DFS容量,导致显示差异。解决方案是理解DN节点硬盘预留和非HDFS文件占用的情况。
摘要由CSDN通过智能技术生成

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github:
https://github.com/fayson/cdhproject
提示:代码块部分可以左右滑动查看噢

1.问题描述


通过Cloudera Manager看到HDFS的容量使用显示为103.9GB

通过HDFS的50070界面查看到HDFS的容量使用情况为41.63GB

使用hadoop fs -du –h /命令查看HDFS的使用情况,HDFS的使用为41.63GB

疑问:为什么Cloudera Manager上显示HDFS空间的使用量会比HDFS真实使用量大很多?

2.问题分析


在Cloudera Manager上鼠标停留在HDFS容量配置上会显示容量使用说明,如下图所示:

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值