关于搭建Hadoop HA集群可能存在的问题

1:DataNode存在问题

搭建好的Hadoop HA集群可能在NameNode格式化后,DataNode起不起来:

我的机器上就存在这个毛病(具体什么原因,也没弄清楚,大家如果知道,请留言分享一下,谢谢),我的解决方法就是:

进入启动DataNode的hadoop目录下的logs目录;

找到与本机名对应的日志:

执行命令:tail -n 100 hadoop-root-datanode-hadoop04.log(文件名)

在报错日志中会有CID-xxxxxxx,将这些内容复制上

然后修改:

/tmp/dfs/data/current/VERSION下的clusterID

 粘贴到clusterID后:

再次启动DataNode,就可以起来了!

2:虚拟机很卡

因为同时开启了6台虚拟机,内存小的机器肯定会卡一些,建议给每台虚拟机分配的内存尽量合适一些,还有一个就是建议大家把图形界面关掉,直接使用命令模式:

可以配置虚拟机为开机默认进入命令模式,可以缓解电脑太卡;

进入虚拟机的/etc/inittab文件

执行命令:vim /etc/inittab

将id:5:initdefault:--->id:3:initdefault:

重新启动就好了

转载于:https://www.cnblogs.com/gwxaizxh/p/7738010.html