hadoop集群HA高可用搭建

目录

前言

集群规划

1.配置Zookeeper集群

2配置HA 高可用

        2.1安装自动转移机制依赖fence 程序包

        2.2配置HA相关配置文件

 3.集群第一次操作

        3.1格式化nameNode

        3.2自动转移故障初始化

 4.日常启动命令

总结

---

前言

        在上一篇文章中，我们完成了完全分布式Hadoop集群的搭建。那么这一篇文章我们将搭建2.0版本下的HA，也就是高可用。为什么要配置HA呢？Hadoop配置HA（High Availability，高可用性）的主要目的是为了提高Hadoop集群的可靠性和稳定性，确保在某个节点或服务出现故障时，整个集群仍然能够正常运行，不会因为单点故障而导致整个集群的宕机。这在真实的企业Hadoop集群当中，HA是非常重要的。在1.0版本的时候，HA还没有出现，直到2.0版本的Hadoop更新后，HA就成为了Hadoop集群非常重要的一部分。那么废话不多说，开干！

集群规划

主机IP	主机的主机名	HDFS	YARN	Zookeeper
192.168.30.100	master	NameNode DataNode	ResourceManager NodeManager	Zookeeper
192.168.30.101	slave1	NameNode DataNode	NodeManager	Zookeeper
192.168.30.102	slave2	DataNode	NodeManager	Zookeeper

1.配置Zookeeper集群

        （1） 下载上传Zookeeper安装包

                 

  （2） 解压到当前目录：

tar -zxvf zookeeper-3.4.9.tar.gz 

查看：

（3） 在/usr/local/zookeeper-3.4.9/ 这个目录创建zkData目录。存放ZK的数据文件和配置文件

 mkdir -p zkData

（4）重命名/usr/local/zookeeper-3.4.9/conf/这个目录下面的zoo_sample.cfg为zoo.cfg

mv zoo_sample.cfg zoo.cfg

（5）配置zoo.cfg文件，在文件末尾添加下面内容

dataDir=/usr/local/zookeeper-3.4.9/zkData
server.2=master:2888:3888
server.3=slave1:2888:3888
server.4=slave2:2888:3888

配置参数解读：

Server.A=B:C:D   A是一个数字，表示这个是第几号服务器；B 是这个服务器的 ip 地址；C是这个服务器与集群中的Leader服务器交换信息的端口；D是万一集群中的Leader服务器挂了,需要一个端口来重新进行选举,选出一个新的Leader,而这个端口就是用来执行选举时服务器相互通信的端口。集群模式下配置一个文件myid,这个文件在dataDir目录下,这个文件里面有一个数据就是A的值, Zookeeper启动时读取此文件,拿到里面的数据与zoo.efg里而的配置信息比较从而判断到底是哪个server。

（6）在/usr/local/zookeeper-3.4.9/zkData目录下创建一个myid的文件

使用：touch myid 

        集群操作：

（1）在myid文件中添加2

  （2）拷贝配置好zookeeper到slave1和slave2这两台机器上

scp -r /usr/local/zookeeper-3.4.9/ root@slave1:/usr/local/

scp -r /usr/local/zookeeper-3.4.9/ root@slave2:/usr/local/

（3）分别修改myid文件中的内容

在slave1的myid文件中添加3

在slave2的myid文件中添加3

 （4）分别启动zookeeper，我的是三台机器，所有在master、slave1、slave2上都启动

  zkServer.sh start

 到这里Zookeeper集群搭建完成，下面是HA的具体配置流程，请确保zk集群正常运行。

2配置HA 高可用

        2.1安装自动转移机制依赖fence 程序包

                   这个程序包非常的重要！我看了许多的博客，发现很多HA配置都没有叫你去安装这个，但是没有这个程序包，zk是没办法实现自动转移故障的，会显示无法进行 fence。而且每一台机器都要安装这个包！！！

yum -y install psmisc

如果不安装这个程序包，自动转移故障机制无法进行 fence。
其他的 Standby 状态的NameNode 不能自动切换为 Active状态。

        2.2配置HA相关配置文件

                首先请打开这个官方配置网站：Apache Hadoop 2.7.1 – HDFS High Availability Using the Quorum Journal Manager

    （1）配置 hdfs-site.xml

<!-- 数据块副本数 -->
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<!-- 服务的逻辑名称,使用mycluster替换master:9000作为逻辑名称 -->
<property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
</property>
<!-- 两个namenode的名称 -->
<property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2</value>
</property>
<!-- 两个namenode的rpc通信地址 -->
<property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>master:8020</value>
</property>
<property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>slave1:8020</value>
</property>

<!-- web访问端口 -->
<property>
    <name>dfs.namenode.http-address.mycluster.nn1</name>
    <value>master:50070</value>
</property>

<property>
    <name>dfs.namenode.http-address.mycluster.nn2</name>
    <value>slave1:50070</value>
</property>

<property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://master:8485;slave1:8485;slave2:8485/mycluster</value>
</property>
<!-- 切换namenode代理类 -->
<property>
    <name>dfs.client.failover.proxy.provider.mycluster</name>    
 <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

<!-- 关闭权限检查 -->
<property>
    <name>dfs.permissions.enable</name>
    <value>false</value>
</property>

<!-- 通过SSH连接到Active NameNode并终止进程 -->
<property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
</property>

<!-- 隔离机制 -->
<property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
</property>
<!-- 启动自动故障转移机制 -->
<property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
</property>

（2）配置core-site.xml

    <!-- hdfs分布式文件系统名字/地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
    <!--存放namenode、datanode数据的根路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/mnt/newdisk/data</value>
    </property>
    <!-- 存放journalnode数据的地址 -->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/mnt/newdisk/data/jn</value>
    </property>
    <!-- 列出运行 ZooKeeper 服务的主机端口对 -->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>master:2181,slave1:2181,slave2:2181</value>
    </property>

（3）配置hadoop-env.sh

这个是确保三台虚拟机的Jdk环境完全相同，不出问题

export JAVA_HOME=/usr/local/jdk1.8.0_221

 （4）分发配置文件

cd /usr/local/hadoop-2.7.1/etc/hadoop
scp * root@slave1:`pwd`

scp * root@slave2:`pwd`

 3.集群第一次操作

        3.1格式化nameNode

（1）在各个JournalNode节点上，输入以下命令启动journalnode服务:

hadoop-daemon.sh start journalnode

一定要确保QuorumPeerMain进程存在，不然后面的操作不能成功！

 

（2）在[nn1]也就是master上进行格式化，并且启动namenode。

hdfs namenode -format

hadoop-daemon.sh start namenode

 （3）在[nn2]也就是slave1上同步nn1的元数据信息：

hdfs namenode -bootstrapStandby

（4）启动[nn2] ，为了两个namenode同时在线，第一次启动集群需要单独启动,后续启动集群我们只需要群启。

hadoop-daemon.sh start namenode

 (5)查看web页面信息，我的是：

192.168.30.100:50070                                               

192.168.30.101:50070

看到两个namenode是standby就表示完成了两个namenode配置。

（6）手动切换状态，这个步骤是为了验证两个namenode是可以使用的。

在master执行：

hdfs haadmin -transitionToActive nn1 

下面的图片是一个active，一个是standby。

好了，到这里如果结果给我一样，那么配置文件就不存在问题。

接下来就是让namenode自动转移故障！！！

 

        3.2自动转移故障初始化

 

如果上面的操作成功了，那么接下来，我们就需要让它实现自动转移active了。

关闭Hadoop服务,zk服务不需要关闭！：

stop-dfs.sh

（1）在Zookeeper中初始化HA状态，在master执行

hdfs zkfc -formatZK

（2）启动hadoop集群 

start-dfs.sh

 

 （3）验证HA

kill -9 7418                                          # 这个端口号指的是处于active状态的namenode

 

 

 4.日常启动命令

注意事项：

1.在各个namenode节点启动DFSZK Failover Controller,先在哪台机器启动的NameNode哪台就是Active NameNode，对外服务。

2.使用start-dfs.sh启动Hadoop的时候，启动namenode顺序可能不一样，所有可能slave1是active，也可能是master。这并不是配置问题！！

日常启动命令：

zkServer.sh start                  #每次关闭虚拟机，重新启动虚拟机的时候需要重新启动zk服务

start-dfs.sh                           #启动Hadoop服务

start-yarn.sh                         # 启动yarn服务

日常关闭命令：

stop-dfs.sh

stop-yarn.sh                    

         

总结

      在整个项目中我觉得最难的应该是HA，当然这是对于第一次配置HA高可用的我来说，因为我根据不同的博客配置了几次，要么就是两个Standby 状态的NameNode，要么就是一个Active状态的NameNode，一个Standby 状态的NameNode。但是当你kill 掉Active节点的NameNode，你就会发现，Standby 状态的NameNode没有成功切换为Active。我在配置了几次后，通过查看日志文件，发现拒绝连接，经过仔细阅读。问题出现在无法进行 fence，于是在我安装了有fence的依赖包psmisc后，重新启动并且kill 后，问题迎刃而解。但是博客上的几乎所有的HA配置都没有提到要安装fence。因此，这是我我写这一篇博客的原因。