Hadoop HA高可用实验操作说明

本文详细介绍了如何在Linux环境下搭建Hadoop HA高可用集群,包括ZooKeeper集群、NameNode和ResourceManager的主备切换,以及相关的配置步骤、文件修改和测试方法。通过实验操作,确保了HDFS和YARN的HA功能正常运行。
摘要由CSDN通过智能技术生成

一 实验准备:

1)运行或Virtual Box,把“HBase伪分布式”虚拟机的名称改成“standby”,或者从master克隆一台新的虚拟机再修改

2)启动master完全分布式,slave1完全分布式,slave2完全分布式,standby高可用共4台虚拟机,直接操作虚拟机把standby的IP地址修改成192.168.56.9,修改方法:
cd /etc/sysconfig/network-scripts/
vi ifcfg-enp0s8  修改网络接口enp0s8的IP地址为192.168.56.9
然后service network restart重启网络服务,然后执行ip a查看IP地址是否修改成功为192.168.56.9
如果没有修改成功,直接把虚拟机关机再启动,再次ip a查看IP地址是否修改成功为192.168.56.9
最后在windows系统的cmd窗口 执行 ping 192.168.56.9 测试一下是否能ping通,如果还无法ping通再检查一下Virtualb Box的主机网络管理器的虚拟网卡地址是否修改为192.168.56.1

3)用XShell远程连接全部4台虚拟机master,slave1,slave2,stand
192.168.56.9 standy
192.168.56.10 master
192.168.56.11 slave1
192.168.56.12 slave2


4)修改standby高可用的主机名为standy

执行vi /etc/hostname  修改主机名为standby,执行hostname查看主机名称,如果没改成standby,执行reboot命令重启一下

二 执行前提实验,安装ZooKeeper集群(已安装)

在master,slave1,slave2这3台虚拟机依次执行脚本命令zkServer.sh start启动ZooKeeper,并执行脚本命令zkServer.sh status检查存在一个leader,两个follower

三 执行主实验,安装Hadoop HA高可用集群

下面正式开始Hadoop HA高可用集群实验:

实验一 HDFS HA高可用集群搭建实验(实现NameNode HA和主备NameNode 的自动切换)

第1步:先在第1台虚拟机master执行以下操作,再依次在slave1,slave2和standby重复相同的操作:
1)执行命令  vi /etc/hosts   最后4行修改成   
  192.168.56.9 standby
  192.168.56.10 master
  192.168.56.11 slave1
  192.168.56.12 slave2

2)执行命令 vi /etc/profile  检查JAVA_HOME和HADOOP_HOME环境变量是否正确,不正确就要修改正确
#jdk
export JAVA_HOME=/usr/local/java/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin
#hadoop
export HADOOP_HOME=/usr/local/hadoop-2.6.0-cdh5.7.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
还必须执行命令  source /etc/profile   使得环境变量设置生效
依次执行 echo $JAVA_HOME 和 echo $HADOOP_HOME 两个命令,测试环境变量是否生效
3)执行关闭防火墙命令 systemctl disable firewalld   再执行关闭SeLinux命令 setenforce 0

第2步:检查master、slave1,slave2和standby互相之间的SSH免密登录,先在第1个虚拟机master执行以下操作,再依次在slave1,slave2和standby重复相同的操作:
1)执行ssh  master命令,测试能否SSH免密登录master主机,如果能不输入密码自动登录成功,说明SSH免密登录设置成功,登录成功后执行exit退出回话;如果提示需要输入密码,执行ssh-copy-id  master命令,遇到提示输入密码root,把公钥发送到要进行SSH免密登录的目标主机master
2)执行ssh  slave1命令,测试能否SSH免密登录slave1主机,如果能不输入密码自动登录成功,说明SSH免密登录设置成功,登录成功后执行exit退出回话;如果提示需要输入密码,执行ssh-copy-id  slave1,命令,遇到提示输入密码root,把公钥发送到要进行SSH免密登录的目标主机slave1
3)执行ssh  slave2命令,测试能否SSH免密登录slave2主机,如果能不输入密码自动登录成功,说明SSH免密登录设置成功,登录成功后执行exit退出回话;如果提示需要输入密码,执行ssh-copy-id  slave2,命令,遇到提示输入密码root,把公钥发送到要进行SSH免密登录的目标主机slave2
3)执行ssh  standby命令,测试能否SSH免密登录standby主机,如果能不输入密码自动登录成功,说明SSH免密登录设置成功,登录成功后执行exit退出回话;如果提示需要输入密码,执行ssh-copy-id  standby命令,遇到提示输入密码root,把公钥发送到要进行SSH免密登录的目标主机standby
注意:本步骤非常重要,一定要确保4台虚拟机互相之间都能够SSH免密登录成功,一共要测试16次!!!
免密登陆成功后,记得执行exit命令退出登陆,回到原来的那台虚拟机,避免搞混!

第3步:重要操作,修改HDFS的配置文件,请注意本步骤只需要在master主机执行即可
1)修改hadoop-env.sh文件
执行cd /usr/local/hadoop-2.6.0-cdh5.7.0/etc/hadoop  切换到Hadoop配置文件所在路径
执行vi hadoop-env.sh  文件末尾增加以下环境变量:
export JAVA_HOME=/usr/local/java/jdk1.8
export HADOOP_CONF_DIR=/usr/local/hadoop-2.6.0-cdh5.7.0/etc/hadoop
执行 source hadoop-env.sh   使得环境变量设置生效

2)修改core-site.xml文件
执行cd /usr/local/hadoop-2.6.0-cdh5.7.0/etc/hadoop  切换到Hadoop配置文件所在路径
执行 vi core-site.xml
删除<configuration> </configuration>之间原有的配置参数,重新增加以下配置参数:

<!-- HDFS集群信息 -->
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://cluster</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/root/hdfs/t

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值