问题一:could only be written to 0 of the 1 minReplication nodes,there are 0 datanode(s) running
这个是在启动bin/hive之后,执行insert语句报的错,显示是没有datanode正在运行。一番检查之后,发现namenode和datanode的namespaceID不一致,这是由于我之前多次初始化集群导致的。
解决方法:
- 到/opt/module/hadoop-3.1.3/data/dfs路径下,分别删除data和name中的current folder。注意要到每个服务器都删干净。
- 将集群全部关闭
- 初始化集群 hadoop namenode -format
- 重新群起集群
- 检查集群状态,正常启动DataNode,如下:
问题二:用Xshell连接三台VM,其中两台可以成功连接上,但是只有一台(hadoop102)无法连接
关于xshell无法连接VM的原因的说法有:
- 本地ping远程虚拟机ip地址,连接超时
- 没有开启SSHD服务可以通过系统,在命令行中输入:service sshd
- ping www.baidu.com 无法访问外网地址
- 虚拟机的防火墙没有开启,在虚拟机中在命令行中输入:systemctl status firewalld 命令查看防火墙的状态