大数据——hadoop集群配置

克隆虚拟机

• 关闭已经安装和配置好的hadoop虚拟机。
• 右击虚拟机，选择管理，选择克隆。
  
• 这里要选择创建完整克隆。
  
• 其他的步骤还是跟之前一样的，更改一下虚拟机的名字就行。
• 克隆好之后，点击克隆好的虚拟机，点击编辑虚拟机设置，更改网络适配器里面的高级设置，重新生成一下mac地址，然后确定就可以。
  
  注意：两台克隆好的虚拟机都需要重新生成。

更改设置

• 把三台虚拟机都开启。
• 使用root用户登录。
• 输入：

vi /etc/sysconfig/network-scripts/ifcfg-ens33

• 更改一下两台克隆机的ip地址，只需要更改最后一位就行。
• 重启网络：

systemctl restart network

• 关闭防火墙：

systemctl stop firewalld

• 修改主机名：

#第一台克隆机
hostnamectl set-hostname hodoop06
#第二台克隆机
hostnamectl set-hostname hodoop07

• 修改主机列表（三台虚拟机都要修改）：

vi /etc/hosts

配置免密登录（三台虚拟机都要进行）

• 使用Moba连接虚拟机。
• 生成密钥：

[root@hadoop01 ~]# ssh-keygen

• 把公钥拷贝到秘钥库中

[root@hadoop01 ~]# cat .ssh/id_rsa.pub >> .ssh/authorized_keys

• 远程免密登录配置

[root@hadoop01 ~]# ssh-copy-id -i .ssh/id_rsa.pub -p22 root@主机名或ip地址

注意：要配置n台hadoop集群，就要远程免密登录配置n-1次。

• 验证免密登录

[root@hadoop01 ~]# ssh root@主机名或ip地址

修改hadoop配置文件

• 进入根目录下的opt目录下的hadoop目录下的etc目录下的hadoop目录下：

[root@hadoop01 ~]# cd /opt/hadoop/etc/hadoop

• 修改配置文件hdfs-site.xml：

[root@hadoop01 hadoop]# vi hdfs-site.xml

• 更改集群机器数目，如下图所示：
  
  注意：要配置n台hadoop集群，就要更改为n。

• 修改配置文件slaves：

[root@hadoop01 hadoop]# vi slaves

• 添加主机名，如下图所示：
  
  注意：要配置n台hadoop集群，就要加入n台主机名。

• 把配置好的文件发送到其他机器上：

[root@hadoop01 hadoop]# scp etc/hadoop/*.xml root@主机名或ip地址:$PWD/etc/hadoop
[root@hadoop01 hadoop]# scp etc/hadoop/slaves root@主机名或ip地址:$PWD/etc/hadoop

注意：要配置n台hadoop集群，就要发送n-1次。

启动hadoop集群

• 删除opt目录下的hadoop目录下的tmp文件夹和logs文件夹：

[root@hadoop01 hadoop]# rm -rf tmp
[root@hadoop01 hadoop]# rm -rf logs

• 格式化主机器的hdfs：

[root@hadoop01 hadoop]# hdfs namenode -format

• 运行hadoop：

[root@hadoop01 hadoop]# start-all.sh

• 启动历史服务：

[root@hadoop01 hadoop]# mr-jobhistory-daemon.sh start historyserver

• 查看主机器的进程：

[root@hadoop01 hadoop]# jps

• 再查看另外两台副机器的的进程：

[root@hadoop01 hadoop]# jps

• 最后打开网页验证一下

搭建hadoop集群的注意事项：

• 克隆主机一定要克隆完整的主机
• 克隆出来的虚拟机的网络适配器一定要重新生成mac地址。
• ip地址一定要更改。
• 一定要重启网络。
• 关闭防火墙。
• 主机列表一定要添加所有的参与集群的IP地址和主机名。
• 免密登录一定要搭建。
• 每台机器都要做免密搭建。
• 配置文件一定要修改集群机器的书目。
• 配置文件一定要添加所有参与集群的主机名。
• 发送所有配置好的文件到参与集群的机器上。
• 格式化之前一定删除tmp文件和logs目录。