namenode无法识别到datanode节点

        看了网上的很多说法感觉不太对,有的人说要去重新格式化datanode,重新格式化namenode,但是这是生产环境,重新格式化根本不可能,想都不敢想,只能去解决,先看datanode的日志信息,根据日志信息去确定解决方案,由于日志当时没保留就不进行展示了。

        环境配置:

        datanode节点配置为三台16c64G,2T数据盘虚拟机,由于集群中小文件过多,100G数据中文件数为600万个小文件,在执行sql语句时经常将dn节点打full gc,于是就是改了datanode的内存,但是在更改后的本地配置文件中更改内存参数后重启datanode节点是直接通过kill -9的方式杀死dn进程 ,不是通过hadoop集群自己本身的启停脚本去进行的停服。

相当于直接在服务器执行kill命令,然后去重新拉起datanode服务,但是由于将多个datanode重新进行了jvm内存参数的调整,都进行了服务的重启,namenode与datanode之间的注册出现了问题,namenode的webui页面显示数据存储为0,识别到的datanode主机为0,在服务器端使用命令:

[root@cdh01 ~]# hdfs dfsadmin -report
Configured Capacity: 127498243278 (0 GB)
Present Capacity: 81648974406 (0 GB)
DFS Remaining: 75599862342 (0 GB)
DFS Used
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值