简介
HA(High Available)机制的集群相比传统的方式更加安全可靠,由于有了备用节点的存在,当主节点(Active)发生故障的时候备用节点(StandBy)可以迅速无缝的切换到Active状态替换掉故障节点,保证了系统的高可用。
以下通过一个示例详细说明如何搭建一个高可用的Hadoop集群。
实验环境:
CentOS6.4;JDK1.7;Hadoop2.4.1;ZooKeeper3.4.5;
集群规划:
规划说明:
1、Hadoop集群由两个NameNode组成,一个处于Active状态,另一个处于StandBy状态。Active 状态的NameNode对外提供服务,而Standby 状态NameNode则不对外提供服务,只同步active namenode的状态,保证在Active状态NameNode节点故障的时候迅速切换为Active状态并且通过设定的方式结束原本处于Active节点进程,避免出现两个Active节点造成冲突。
2、hadoop2.0官方提供了两种HDFS HA的解决方案,一种是NFS,另一种是QJM。我们采用QIM方案,在该方案中,主备NameNode之间通过一组JournalNode同步元数据信息,一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode
3、这里还配置了一个zookeeper集群,用于ZKFC(DFSZKFailoverController)故障转移,当Active NameNode挂掉了,会自动切换Standby NameNode为standby状态
4、hadoop-2.2.0中依然存在一个问题,就是ResourceManager只有一个,存在单点故障,hadoop-2.4.1解决了这个问题,有两个ResourceManager,一个是Active,一个是Standby,状态由zookeeper进行协调
2、hadoop2.0官方提供了两种HDFS HA的解决方案,一种是NFS,另一种是QJM。我们采用QIM方案,在该方案中,主备NameNode之间通过一组JournalNode同步元数据信息,一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode
3、这里还配置了一个zookeeper集群,用于ZKFC(DFSZKFailoverController)故障转移,当Active NameNode挂掉了,会自动切换Standby NameNode为standby状态
4、hadoop-2.2.0中依然存在一个问题,就是ResourceManager只有一个,存在单点故障,hadoop-2.4.1解决了这个问题,有两个ResourceManager,一个是Active,一个是Standby,状态由zookeeper进行协调
配置步骤:
1、配置各主机IP,主机名(/etc/sysconfig/network),将集群内所有主机IP和主机名映射关系加入各自的hosts文件(/etc/hosts)
配置IP:
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="static" ###
HWADDR="00:0D:21:8C:AF:C7"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
IPADDR="192.168.2.100" ###
NETMASK="255.255.255.0" ###
GATEWAY="192.168.2.1" ###
DEVICE="eth0"
BOOTPROTO="static" ###
HWADDR="00:0D:21:8C:AF:C7"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
IPADDR="192.168.2.100" ###
NETMASK="255.255.255.0" ###
GATEWAY="192.168.2.1" ###
配置主机和IP映射关系
vim /etc/hosts
关闭防火墙:
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
重启
2、上传,解压JDK1.7,配置JDK环境变量
vim /etc/profile
#在文件最后添加
export JAVA_HOME=/home/hadoop/app/jdk1.7.0-65
export PATH=$PATH:$JAVA_HOME/bin
#刷新配置
source /etc/profile
#在文件最后添加
export JAVA_HOME=/home/hadoop/app/jdk1.7.0-65
export PATH=$PATH:$JAVA_HOME/bin
#刷新配置
source /etc/profile
3、上传、解压Hadoop、配置环境
hadoop的配置文件全部在$HADOOP_HOME/etc/hadoop下
#将hadoop添加到环境变量中
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_55
export HADOOP_HOME=/weekend/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_55
export HADOOP_HOME=/weekend/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
3.1修改hadoo-env.sh
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_553.2修改core.site.xml
<configuration>
<!-- 指定hdfs的nameservice为ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1/</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/hadoop-2.4.1/tmp</value>
</property>
<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>L-CentOS4:2181,L-CentOS5:2181,L-CentOS6:2181</value>
</property>
</configuration>
3.3 修改hdfs.site.xml
<configuration>
<!--指定hdfs的nameservice为ns1,需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<!-- ns1下面有两个NameNode,分别是nn1,nn2 -->
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>L-CentOS:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>L-CentOS:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>L-CentOS1:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>L-CentOS1:50070</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://L-CentOS4:8485;L-CentOS5:8485;L-CentOS6:8485/ns1</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/hadoop/app/hadoop-2.4.1/journaldata</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法,多个机制用换行分割,即每个机制暂用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔离机制超时时间 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>
3.3修改yarn.site.xml
<configuration>
<!-- 指定mapreduce框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
3.4 修改yarn.site.xml
<configuration>
<!-- 开启RM高可用 -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yrc</value>
</property>
<!-- 指定RM的名字 -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 分别指定RM的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>L-CentOS2</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>L-CentOS3</value>
</property>
<!-- 指定zk集群地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>L-CentOS4:2181,L-CentOS5:2181,L-CentOS6:2181</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
4、配置免密登录
4.1 L-CentOS到其他六台机器的免密登录
在L-CentOS上生成密钥对并将公钥加入其他节点
ssh-keygen -t rsa
ssh-copy-id L-CentOS
ssh-copy-id L-CentOS1
ssh-copy-id L-CentOS2
ssh-copy-id L-CentOS3
ssh-copy-id L-CentOS4
ssh-copy-id L-CentOS5
ssh-copy-id L-CentOS6
4.2 L-CentOS2到后面4台机器的免密登录
在L-CentOS2上生成密钥对并将公钥加入其他节点
ssh-keygen -t rsa
ssh-copy-id L-CentOS3
ssh-copy-id L-CentOS4
ssh-copy-id L-CentOS5
ssh-copy-id L-CentOS6
4.3 配置—L-CentOS1到L-CentOS的免密登录
ssh-keygen -t rsa
ssh-copy-id L-CentOS
5、将配置好的Hadoop拷贝到其他六台机器
scp -r hadoop-2.4.1/ hadoop@L-CentOS1:/home/hadoop/
6、NameNode和ResourceManager节点的slaves
../hadoop-2.4.1/etc/hadoop/slaves
#分别加入DataNode和NodeManager所在的节点
L-CentOS4
L-CentOS5
L-CentOS6
7、启动ZooKeeper
启动第4,5,6台机器的ZooKeeper服务
../zookeeper-3.4.5/bin/(脚本位置)
#启动
./zkServer.sh start
#查看状态
./zkServer.sh status
启动三台机器的ZooKeeper服务,查看状态
有一个Leader,两个follower
8、启动JournalNode
启动第4.5.6台机器的JournalNode服务
../hadoop-2.4.1/sbin/(脚本位置)
./hadoop-daemon.sh start journal
9、格式化HDFS
在L-CentOS机器上格式化HDFS,会根据core.site.xml里面hadoop.tmp.dir配置生成对应的文件夹和文件,然后连同文件结构一起拷贝到L-CentOS1中以确保两个NameNode的初始fsimage完全一致。
10、格式化ZKFC
在L-CentOS执行 hdfs zkfc -formatZK
11、启动HDFS
在L-CentOS启动HDFS,L-CentOS会启动其他DataNode节点(需提前配置免密登录)
12、启动YARN
L-CentOS2:../sbin/start-yarn.sh
L-CentOS3:../sbin/yarn-daemon.sh start resourcemanager
检查确认
NameNode节点(L-CentOS,L-CentOS1)运行的进程:
ReSourceManager节点(L-CentOS2,L-CentOS3)运行的进程
DataNode节点(L-CentOS4,L-CentOS5,L-CentOS6)运行的进程
如果以上进程均正常启动应该就算配置成功了,下面可以通过浏览器访问确认
http://192.168.2.100:50070
http://192.168.2.101:50070
http://192.168.2.102:8088