HDFS空间占用问题解决

经过一段时间的使用发现原本存入HDFS的数据量不是很大,但是50多个T的存储空间缺被占满了,
解决:
hadoop fs -du -h /
使用该命令查看HDFS中文件占用的大小,发现/tmp目录占用较大,如下:


在查看/tmp中的文件 ;hadoop fs -du -h /tmp

发现/tmp目录下就是一些,临时的文件,包括HDFS中一些用户使用HIve和运行MR的日志,将其中的部分数据删除即可,经测试,删除 /tmp/hive/tmp/logs目录下的某些用户的缓存文件不会影响正常使用。
此外,据了解,CDH中有相关的配置项可以避免该问题的产生,从根本上解决这类问题,目前本人尚在尝试,待补充,,,,



  • 3
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值