Hadoop集群搭建

搭建Hadoop请参照Centos7中安装配置Hadoop

克隆虚拟机

在centos中安装并配置完成的前提下，将主节点虚拟机关机
点击虚拟机–>管理–>克隆

点击下一步

可以选择当前状态或快照进行克隆，这里就选择当前状态，点击下一步

选择完整克隆
修改虚拟机名称和位置后点击完成

克隆完成，点击关闭

在克隆的虚拟机上选择编辑虚拟机设置

分别对网络配置器和网络配置器2进行如下操作

完成后，对主节点虚拟机再复制一台，操作与上述相同
打开三台虚拟机
对克隆的两台虚拟机输入以下命令，修改IP地址
如：主节点ip为192.168.233.137
子节点则分别将最后三位改为
192.168.233.138
192.168.233.139

# 修改ip
vi /etc/sysconfig/network-scripts/ifcfg-ens33
# 重启网络配置
systemctl restart network

搭建集群

用moba工具分别连接三态虚拟机
给克隆的两台虚拟机修改hostname

# ip为192.168.233.138的虚拟机
hostnamectl set-hostname hadoop2
# ip为192.168.233.139的虚拟机
hostnamectl set-hostname hadoop3

修改三台虚拟机的/etc/hosts

vi /etc/hosts
# 将三台虚拟机ip和主机名添加进入
192.168.233.137 hadoop1
192.168.233.138 hadoop2
192.168.233.139 hadoop3

以hadoop1为例配置免密登录
（由于hadoop2和hadoop3是有hadoop1克隆出来的，在配置hadoop1时，已经可以自身免密登录，故hadoop1可以免密登录hadoop2和hadoop3）

ssh-keygen

询问是否覆盖，输入y即可

对自身以及hadoop1、hadoop3添加互信

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh-copy-id -i ~/.ssh/id_rsa.pub -p22 root@hadoop1
ssh-copy-id -i ~/.ssh/id_rsa.pub -p22 root@hadoop3

对hadoop1、3添加互信时，需要输入对应的密码，输入即可

修改配置文件（在主节点上操作）

cd /opt/hadoop260
vi etc/hadoop/hdfs-site,xml

将1变成3

vi etc/slaves

将三台虚拟机主机名添加进去

两个子节点也需要以上操作，为了方便，我们直接将修改后的文件传给子节点进行覆盖，执行下述四条命令

scp /opt/hadoop260/etc/hadoop/*.xml root@hadoop2:/opt/hadoop260/etc/hadoop/
scp /opt/hadoop260/etc/hadoop/slaves root@hadoop2:/opt/hadoop260/etc/hadoop/
scp /opt/hadoop260/etc/hadoop/*.xml root@hadoop3:/opt/hadoop260/etc/hadoop/
scp /opt/hadoop260/etc/hadoop/slaves root@hadoop3:/opt/hadoop260/etc/hadoop/

修改完成后，分别删除三台虚拟机/opt/hadoop260下的log目录和tmp目录

# 三台虚拟机都要执行
cd /opt/hadoop260
rm -rf logs
rm -rf tmp

格式化主节点虚拟机的hdfs

hadoop namenode -format

开启hadoop（在主节点上执行）

start-all.sh

jps查看进程
主节点hadoop1：

子节点hadoop2、3：

至此集群搭建完成