再次折腾-启动hadoop时遇到问题

期间运行namenode的试验机因跑其它程序和任务重启过几次导致以前启动的hadoop相关的进程和服务都停了。今天有空再跑一次,遇到各种莫名其妙问题,好事多磨,也算是对先前没遇到问题的一个补充。1. namenode 9000端口被占导致namenode startup failed       这段本地调试其它程序时启动过xdebug,它的默认端口就是9000, netstat
摘要由CSDN通过智能技术生成

期间运行namenode的试验机因跑其它程序和任务重启过几次导致以前启动的hadoop相关的进程和服务都停了。今天有空再跑一次,遇到各种莫名其妙问题,好事多磨,也算是对先前没遇到问题的一个补充。


1. namenode 9000端口被占导致namenode startup failed

       这段本地调试其它程序时启动过xdebug,它的默认端口就是9000, netstat -ap 和lsof -i:9000都没看到被占用,两个不相关的程序还着实费了点时间才找出来,关掉xdebug所在的IDE解决之。


2. namenode和datanode轮流启动失败

  namenode启动失败,通常都是机器重启后hadoop core-site.xml中配置的tmp目录中name/secondaryname中的clusterID等信息不一致所致,删除其下的文件或格式化即可。

  使用 hdfs namenode -format 后,namenode可以启动了,但datanode始终启动不起来。报错如下:

WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/home/hadoop/bigdata/data/hadoop/tmp/dfs/data/
java.io.IOException: Incompatible clusterIDs in/home/hadoop/bigdata

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值