Hadoop生态集群搭建过程报错解决
一、流程介绍
先创建一个虚拟机,并设置NAT网络模式,固定IP地址。再修改虚拟机名称,配置hosts文件。接着安装java环境,配置环境变量。配置SSH免密登录,配置NTP服务(时间同步)。安装hadoop,配置相应的hadoop文件,克隆出多个虚拟机作为从节点,修改、增添从节点信息,搭建集群,实现分布式环境。后续再添加其他组件,如zookeeper(先)、hbase(后)。
准备工作(附VMware14、Xshell6、hadoop-2.6.4/2.7.3版本、Linux版jdk1.8、hbase-1.2.4、zookeeper-3.4.10)
链接:Hadoop集群搭建安装包
提取码:trnr
创建虚拟机可以参考这个博客
看完肯定会系列之——VMware创建CentOS7虚拟机并使用MobaXterm连接
先表明自己的环境:
VMware15 pro
jdk1.8
Hadoop-2.7.3(hadoop版本会涉及到与hbase等组件版本兼容问题)
zookeeper-3.4.10
hbase-1.2.4
我虚拟机创建了一个主节点(master)、三个从节点:(name + IP地址)
master 192.168.10.127
slave1 192.168.10.131
slave2 192.168.10.132
slave3 192.168.10.133
二、我结合多次踩坑的经历,总结出了几大类问题的解决方案及预防措施
1. 防火墙没有关闭,墙裂推荐永久关闭防火墙!!!(以下是CentOS 7的命令)
问题出现在ping不通 ip、外网地址 和 配置ssh免密登录时。
#查看当前防火墙状态
systemctl status firewalld
#关闭防火墙,重启会自动开启防火墙
systemctl stop firewalld
#永久关闭防火墙