克隆虚拟机
- 关闭已经安装和配置好的hadoop虚拟机。
- 右击虚拟机,选择管理,选择克隆。
- 这里要选择创建完整克隆。
- 其他的步骤还是跟之前一样的,更改一下虚拟机的名字就行。
- 克隆好之后,点击克隆好的虚拟机,点击编辑虚拟机设置,更改网络适配器里面的高级设置,重新生成一下mac地址,然后确定就可以。
注意:两台克隆好的虚拟机都需要重新生成。
更改设置
- 把三台虚拟机都开启。
- 使用root用户登录。
- 输入:
vi /etc/sysconfig/network-scripts/ifcfg-ens33
- 更改一下两台克隆机的ip地址,只需要更改最后一位就行。
- 重启网络:
systemctl restart network
- 关闭防火墙:
systemctl stop firewalld
- 修改主机名:
#第一台克隆机
hostnamectl set-hostname hodoop06
#第二台克隆机
hostnamectl set-hostname hodoop07
- 修改主机列表(三台虚拟机都要修改):
vi /etc/hosts
配置免密登录(三台虚拟机都要进行)
- 使用Moba连接虚拟机。
- 生成密钥:
[root@hadoop01 ~]# ssh-keygen
- 把公钥拷贝到秘钥库中
[root@hadoop01 ~]# cat .ssh/id_rsa.pub > .ssh/authorized_keys
- 远程免密登录配置
[root@hadoop01 ~]# sh-copy-id -i .ssh/id_rsa.pub -p22 root@主机名或ip地址
注意:要配置n台hadoop集群,就要远程免密登录配置n-1次。
- 验证免密登录
[root@hadoop01 ~]# ssh root@主机名或ip地址
修改hadoop配置文件
- 进入根目录下的opt目录下的hadoop目录下的etc目录下的hadoop目录下:
[root@hadoop01 ~]# cd /opt/hadoop/etc/hadoop
- 修改配置文件hdfs-site.xml:
[root@hadoop01 hadoop]# vi hdfs-site.xml
-
更改集群机器数目,如下图所示:
注意:要配置n台hadoop集群,就要更改为n。 -
修改配置文件slaves:
[root@hadoop01 hadoop]# vi slaves
-
添加主机名,如下图所示:
注意:要配置n台hadoop集群,就要加入n台主机名。 -
把配置好的文件发送到其他机器上:
[root@hadoop01 hadoop]# scp etc/hadoop/*.xml root@主机名或ip地址:$PWD/etc/hadoop
[root@hadoop01 hadoop]# scp etc/hadoop/slaves root@主机名或ip地址:$PWD/etc/hadoop
注意:要配置n台hadoop集群,就要发送n-1次。
启动hadoop集群
- 删除opt目录下的hadoop目录下的tmp文件夹和logs文件夹:
[root@hadoop01 hadoop]# rm -rf tmp
[root@hadoop01 hadoop]# rm -rf logs
- 格式化主机器的hdfs:
[root@hadoop01 hadoop]# hdfs namenode -format
- 运行hadoop:
[root@hadoop01 hadoop]# start-all.sh
- 启动历史服务:
[root@hadoop01 hadoop]# mr-jobhistory-daemon.sh start historyserver
- 查看主机器的进程:
[root@hadoop01 hadoop]# jps
- 再查看另外两台副机器的的进程:
[root@hadoop01 hadoop]# jps
- 最后打开网页验证一下
搭建hadoop集群的注意事项:
- 克隆主机一定要克隆完整的主机
- 克隆出来的虚拟机的网络适配器一定要重新生成mac地址。
- ip地址一定要更改。
- 一定要重启网络。
- 关闭防火墙。
- 主机列表一定要添加所有的参与集群的IP地址和主机名。
- 免密登录一定要搭建。
- 每台机器都要做免密搭建。
- 配置文件一定要修改集群机器的书目。
- 配置文件一定要添加所有参与集群的主机名。
- 发送所有配置好的文件到参与集群的机器上。
- 格式化之前一定删除tmp文件和logs目录。