Hadoop HA高可用实验操作说明

一 实验准备：

1）运行或Virtual Box，把“HBase伪分布式”虚拟机的名称改成“standby”，或者从master克隆一台新的虚拟机再修改

2）启动master完全分布式，slave1完全分布式，slave2完全分布式，standby高可用共4台虚拟机，直接操作虚拟机把standby的IP地址修改成192.168.56.9，修改方法：
cd /etc/sysconfig/network-scripts/
vi ifcfg-enp0s8  修改网络接口enp0s8的IP地址为192.168.56.9
然后service network restart重启网络服务，然后执行ip a查看IP地址是否修改成功为192.168.56.9
如果没有修改成功，直接把虚拟机关机再启动，再次ip a查看IP地址是否修改成功为192.168.56.9
最后在windows系统的cmd窗口 执行 ping 192.168.56.9 测试一下是否能ping通，如果还无法ping通再检查一下Virtualb Box的主机网络管理器的虚拟网卡地址是否修改为192.168.56.1

3）用XShell远程连接全部4台虚拟机master,slave1,slave2，stand
192.168.56.9 standy
192.168.56.10 master
192.168.56.11 slave1
192.168.56.12 slave2

4）修改standby高可用的主机名为standy

执行vi /etc/hostname  修改主机名为standby，执行hostname查看主机名称，如果没改成standby，执行reboot命令重启一下

二 执行前提实验，安装ZooKeeper集群（已安装）

在master，slave1，slave2这3台虚拟机依次执行脚本命令zkServer.sh start启动ZooKeeper，并执行脚本命令zkServer.sh status检查存在一个leader，两个follower

三 执行主实验，安装Hadoop HA高可用集群

下面正式开始Hadoop HA高可用集群实验：

实验一 HDFS HA高可用集群搭建实验（实现NameNode HA和主备NameNode 的自动切换）

第1步：先在第1台虚拟机master执行以下操作，再依次在slave1,slave2和standby重复相同的操作：
1）执行命令  vi /etc/hosts   最后4行修改成   
  192.168.56.9 standby
  192.168.56.10 master
  192.168.56.11 slave1
  192.168.56.12 slave2

2）执行命令 vi /etc/profile  检查JAVA_HOME和HADOOP_HOME环境变量是否正确，不正确就要修改正确
#jdk
export JAVA_HOME=/usr/local/java/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin
#hadoop
export HADOOP_HOME=/usr/local/hadoop-2.6.0-cdh5.7.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
还必须执行命令  source /etc/profile   使得环境变量设置生效
依次执行 echo $JAVA_HOME 和 echo $HADOOP_HOME 两个命令，测试环境变量是否生效
3）执行关闭防火墙命令 systemctl disable firewalld   再执行关闭SeLinux命令 setenforce 0

第2步：检查master、slave1,slave2和standby互相之间的SSH免密登录，先在第1个虚拟机master执行以下操作，再依次在slave1,slave2和standby重复相同的操作：
1)执行ssh  master命令，测试能否SSH免密登录master主机，如果能不输入密码自动登录成功，说明SSH免密登录设置成功,登录成功后执行exit退出回话；如果提示需要输入密码，执行ssh-copy-id  master命令，遇到提示输入密码root，把公钥发送到要进行SSH免密登录的目标主机master
2)执行ssh  slave1命令，测试能否SSH免密登录slave1主机，如果能不输入密码自动登录成功，说明SSH免密登录设置成功,登录成功后执行exit退出回话；如果提示需要输入密码，执行ssh-copy-id  slave1，命令，遇到提示输入密码root，把公钥发送到要进行SSH免密登录的目标主机slave1
3)执行ssh  slave2命令，测试能否SSH免密登录slave2主机，如果能不输入密码自动登录成功，说明SSH免密登录设置成功,登录成功后执行exit退出回话；如果提示需要输入密码，执行ssh-copy-id  slave2，命令，遇到提示输入密码root，把公钥发送到要进行SSH免密登录的目标主机slave2
3)执行ssh  standby命令，测试能否SSH免密登录standby主机，如果能不输入密码自动登录成功，说明SSH免密登录设置成功,登录成功后执行exit退出回话；如果提示需要输入密码，执行ssh-copy-id  standby命令，遇到提示输入密码root，把公钥发送到要进行SSH免密登录的目标主机standby
注意：本步骤非常重要，一定要确保4台虚拟机互相之间都能够SSH免密登录成功，一共要测试16次！！！
免密登陆成功后，记得执行exit命令退出登陆，回到原来的那台虚拟机，避免搞混！

第3步：重要操作，修改HDFS的配置文件，请注意本步骤只需要在master主机执行即可
1）修改hadoop-env.sh文件
执行cd /usr/local/hadoop-2.6.0-cdh5.7.0/etc/hadoop  切换到Hadoop配置文件所在路径
执行vi hadoop-env.sh  文件末尾增加以下环境变量：
export JAVA_HOME=/usr/local/java/jdk1.8
export HADOOP_CONF_DIR=/usr/local/hadoop-2.6.0-cdh5.7.0/etc/hadoop
执行 source hadoop-env.sh   使得环境变量设置生效

2)修改core-site.xml文件
执行cd /usr/local/hadoop-2.6.0-cdh5.7.0/etc/hadoop  切换到Hadoop配置文件所在路径
执行 vi core-site.xml
删除<configuration> </configuration>之间原有的配置参数，重新增加以下配置参数：

<!-- HDFS集群信息 -->
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://cluster</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/root/hdfs/t