集群服务器缺少DataNode进程的解决办法
对于Hadoop入门阶段的学习,肯定避不开集群服务器的相关操作,关于DataNode进程缺失问题,也是本人亲身经历的,现在就把解决办法分享给大家
首次启动集群的注意事项
我的集群分为hadoop102、hadoop103、hadoop104,当集群是第一次启动,需要在hadoop102节点格式化NameNode(注意:格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到已往数据。如果集群在运行过程中报错,需要重新格式化NameNode的话,一定要先停止namenode和datanode进程,并且要删除所有机器的data和logs目录,然后再进行格式化。)
格式化代码:
[atguigu@hadoop102 hadoop-3.1.3]$ hdfs namenode -format
问题就是出在格式化过程中,此时找到hadoop-3.1.3目录下,删除data和logs目录,然后重新格式化,即可解决该问题(hadoop102,hadoop103,hadoop104的data和logs都要删除掉,否则其他两个集群服务器仍会缺少DataNode进程)
[atguigu@hadoop102 ~]$ cd /opt/module/hadoop-3.1.3/
启动HDFS
[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
在配置了ResourceManager的节点(hadoop103)启动YARN
[atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh