Hadoop集群搭建（附截图）

                    Hadoop集群配置过程

 

1. 配置IP地址，网关，子网掩码和DNS

BootProto改为static，ONBOOT改为yes

2. 修改主机 hostname

 

3. 修改虚拟机网络编辑器

 

 

4. 配置本地网络vnet8

 

 

5. 关闭防火墙

Systemctl stop firewalld

这个是为了后面主节点与子节点的连通

6. 重启网络服务

Service network restart

 

 

7. 解压hadoop.tar.gz

Tar -zxvf hadoop-3.1.4.tar.gz

 

把hadoop-3.1.4文件夹移动到指定路径下

这里我的是/usr/local/

mv hadoop-3.1.4 /usr/local/

8. 解压jdk的rpm包

安装 java 的 jdk 环境

 

 

9. 配置 /etc/profile   java 环境变量  和  hadoop环境变量

Source /etc/profile  

刷新一下

然后

分别输入Java -version , hadoop version

若显示版本号则配置无误

 

 

 

10. 配置hadoop核心文件

（core-site.xml, yarn-site.xml, hdfs-site.xml, mapred-site.xml,hadoop-env.sh, yarn-env.sh）

 

 

 

 

 

 

 

 

 

 

配置sbin 下的start-dfs.sh,stop-dfs.sh, start-yarn.sh,stop-yarn.sh

 

 

11. 配置workers

 

 

12. 克隆3台虚拟机

 

 

13. 分别修改3台子节点的主机名和ip地址，主机名自己起就好，ip 地址第四段最好紧跟主节点之后。

 

14. 分别重启网络服务

Service network restart

15.Ntp 时间同步

 

 

 

 

16. 配置ssh免密密匙与免密连接

 

 

 

 

17.Hdfs namenode 格式化

 

 

展示如上的 Successful formatted 就代表格式化成功

18.准备工作完毕， 启动集群

 

19.Jps 查看启动的服务

 

 

 

 

 

 

 

 

 

启动成功

 

 

 

 

 

 

 

                        可能遇到的问题

                              （持续更新）

1.xml版本问题

 

解决方法：

看报错，上面说是 core-site.xml 有问题，

进入core-site.xml ，把2.0改成1.0就好了

2.Hadoop启动集群后主节点显示 [master]  no route to host

解决方法

把核心配置文件中的master全部改为主节点的主机名，之后就没问题了

3.192.168.128.130:9870 拒绝访问

解决方法：

关闭防火墙

 

 

集群的配置让我知道了：

1. 在配置文件或者打代码时都要尤其细心，一环扣一环，只要一步出现了问题，后面就不能继续。
2. 出错不可怕，学会看错误，找出错误的源头，bug就会迎刃而解。
3. 不管是代码还是配置集群，都要井井有条，按部就班的来，有条理的步骤会减少很多不必要的麻烦和坑点。

如果在搭建集群的时候遇到了一些其他你解决不了的问题，可以私信我哦，在这方面我踩过很多坑哈哈。

希望能多多少少帮到你。