hadoop集群搭建踩坑记录

一、hadoop集群搭建并启动成功后，打开namenode可视化界面失败

首先怀疑hadoop是否启动成功，jps查看

查看hadoop进程都有，namenode上使用curl命令测试端口是否工作，发现是正常的

netstat -ntlp查看端口9870也正常

在数据节点上使用curl命令测试端口，发现连接拒绝，但网络是通的

在namenode上使用firewall-cmd --list-ports查看哪些端口加了白名单，发现9870不在白名单中

把9870端口加入白名单并重启防火墙

再次尝试在浏览器打开namenode可视化界面，成功。

二、hadoop集群启动后，在可视化界面只能看到一个datanode

查看启动进程正常

首先检查datanode节点上的core-site.xml配置文件中的fs.defaultFS配置是否正确，如果是localhost要修改成master的ip地址

这里修改正确以后，还是只有一个Datanode，通过百度及检查系统配置，发现ifconfig中看到的是双ip

查看/data/hadoop-3.2.1/etc/hadoop/ifcfg-enp0s3配置文件，发现网络连接是dhcp模式

dhcp模式是有路由器分配ip地址，所以修改的ip只能用于ssh或远程连接，其他开发中用到的IP地址任然是路由器分配的ip，这里是安装虚拟机的时候配置的有问题

把BOOTPROTO改为static，并添加配置信息

IPADDR=192.168.xx.xx
NETMASK=255.255.255.0
GATEWAY=192.168.xx.1

修改后虚拟网卡配置如下：

重启hadoop集群，datanode数量正常。