Hadoop2.x HA

最新推荐文章于 2019-03-28 17:50:44 发布

Rita楠神

最新推荐文章于 2019-03-28 17:50:44 发布

阅读量287

点赞数

文章标签： Hadoop HA

本文链接：https://blog.csdn.net/FullStackDeveloper0/article/details/83513670

版权

Hadoop HA(高可用)

一、HDFS HA

1.HDFS HA 背景

   *hadoop2版本中可以有多个namenode结点，一个是活跃（active）状态，一个是准备（standby）状态。（haoop 1不存在此特性）
   *HDFS集群中NameNode 存在单点故障（SPOF）。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用，直到NameNode 重新启动。

   为了解决上述问题，Hadoop给出了HDFS的高可用HA方案：
       *HDFS通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。
       *Active NameNode对外提供服务，比如处理来自客户端的RPC请求，而Standby NameNode则不对外提供服务，仅同步Active NameNode的状态，以便能够在它失败时快速进行切换。

2.HDFS HA架构

   *一个典型的HA集群，NameNode会被配置在两台独立的机器上，在任何时间上，一个NameNode处于活动状态，而另一个NameNode处于备份状态。
   *如何实现Standby Node与Active Node保持同步？
       为了让Standby Node与Active Node保持同步，这两个Node都与一组称为JNS的互相独立的进程保持通信(Journal Nodes)。Active Node的操作信息会被记录在日志中，这些
       日志信息会发送给JNS，Standby noes将会从JNS中读取这些edits并执行与日志一致的操作。当failover（单点故障）发生时，Standby将会在提升自己为Active之前，确保
       能够从JNS中读取所有的edits，即在failover发生之前Standy持有的namespace应该与Active保持完全同步。
   *实现快速faliover
       为了支持快速failover，Standby node持有集群中blocks的最新位置是非常必要的。为了达到这一目的，DataNodes上需要同时配置这两个Namenode的地址，
       同时和它们都建立心跳链接，并把block位置发送给它们。
   *只允许一个NameNode是Active

   下述是基于QJM的HDFS HA方案执行流程：
       1.客户端会发送请求给zookeeper集群，zookeeper保存着NameNode信息，然后zookeeper会把读写请求分配给Actie NameNode，然后由NameNode对DtatNode进行相应的操作。
       2.Active NameNode是主NameNode。Standy NameNode是备份NameNode。之所以NN知道去处理哪个DN，是因为DN会把Blocks的信息汇报给NN。为了解决单点故障的问题，NN会
       实时的把元数据信息写入JN集群，而不是把元数据信息写在本地的磁盘上（fsimage，edits）。一旦Active NN出现故障，zookeeper集群会通过failoverController把故障NN切换到备份NN。
       3.Zookeeper集群之所以知道故障NN，是因为Active NN会把它的心跳信息汇报给集群，zk通过心跳信息判断NN的状态。

       HA流程图链接：https://i-blog.csdnimg.cn/blog_migrate/a1e5833b2dc82f68b64113fbafe49370.png

3.HDFS HA配置要素
   *NameNode机器：两台配置对等的物理机器，它们分别运行Active和Standby Node。

   *JouralNode机器：运行JouralNodes的机器。JouralNode守护进程相当的轻量级，可以和Hadoop的其他进程部署在一起，至少需要3个且为奇数，如果你运行了N个JNS，
   那么它可以允许(N-1)/2个JNS进程失效并且不影响工作。

   *在HA集群中，Standby NameNode还会对namespace进行checkpoint操作（继承Backup Namenode的特性），因此不需要在HA集群中运行SecondaryNameNode、CheckpointNode
   或者BackupNode。（也就是备份节点做了上述三个节点的工作）

4.HDFS自动故障转移
   HDFS的自动故障转移主要由Zookeeper（Zookeeper很重要啊）和ZKFC两个组件组成。

   Zookeeper集群作用主要有：
       *故障监控。
           每个NameNode将会和Zookeeper建立一个持久session，如果NameNode失效，那么此session将会过期失效，此后Zookeeper将会通知另一个Namenode，然后触发Failover。

       *NameNode选举（选举就决定了zookeeper集群节点的个数必须是奇数个，一般都是大于1的奇数）
           ZooKeeper提供了简单的机制来实现Acitve Node选举，如果当前Active失效，Standby将会获取一个特定的排他锁，那么获取锁的Node接下来将会成为Active。

   ZKFC是一个Zookeeper的客户端，它主要用来监测和管理NameNodes的状态，每个NameNode机器上都会运行一个ZKFC程序，它的职责主要有：
       *健康监控。
           ZKFC间歇性的ping NameNode，得到NameNode返回状态，如果NameNode失效或者不健康，那么ZKFS将会标记其为不健康；
       *Zookeeper会话管理。
           当本地NaneNode运行良好时，ZKFC将会持有一个Zookeeper session，如果本地NameNode为Active，它同时也持有一个
           “排他锁”znode，如果session过期，那么znode也将被删除；
       *选举。当集群中其中一个NameNode宕机，Zookeeper会自动将另一个激活。

二、YARN HA
   YARN的HA架构和HDFS HA类似，需要启动两个ResourceManager，这两个ResourceManager会向ZooKeeper集群注册，通过ZooKeeper管理它们的状态（Active或Standby）
   并进行自动故障转移。可以把ResourceManager当作是NN,NodeManager当作是DN。

三、高可用集群搭建流程

1.环境：
       *jdk1.7.0_79
       *hadoop2.7
       *CentOS6.5

   2.集群规划



       【注意】1.ZKFC与NN是一致的
           2.在yarn-site.xml文件中指定RM位置，集群中其余节点自动成为NM,NM不需要配置

   3.前提条件

       *集群中的节点时间同步

           *CentOS7的时间同步：
               yum -y install ntp
               systemctl enable ntpd
               systemctl start ntpd
               ntpdate -u cn.pool.ntp.org

           *CentOS6的时间同步
               在node2与node3上分别输入下述命令：
                   ntpdate node1

       *软件版本问题：搭建之前一定要参照官方文档提供的版本对应关系！一定注意！！！！（血的教训）

       *SSH免密登陆(后面配置中我提及了！不必担心)

       *关闭防火墙，CentOS6与CentOS7关闭防火墙的指令是不一致的：
           *CentOS6:service iptables stop
           *CentOS7:systemctl stop firewalld

   4.配置hosts

       在 /etc/sysconfig/network 目录下输入以下内容：
           NETWORKING=yes
           HOSTNAME=node1
       在 /etc/hosts 目录下输入下述内容：
       192.168.40.143 node1
       192.168.40.144 node2
       192.168.40.145 node3
       192.168.40.140 node4

   5.安装jdk1.7.0_79

   6.zookeeper集群

       *把/pzz/zookeeper-3.4.5/conf/zoo_sample.cfg文件改名：zoo.cfg

       *在zoo.cfg文件中配置下述内容：
           dataDir=/usr/hk/zookeeper
           server.1=node2:2888:3888
           server.2=node3:2888:3888
           server.3=node4:2888:3888

       *在/usr/zookeeper目录下创建myid文件，并在文件内容中写上1或是2或是3，也就是上述zoo.cfg中配置server编号！

   7.Hadoop集群

       *修改core-site.xml

           <configuration>


<property>
<name>fs.defaultFS</name>
<value>hdfs://BJFU</value>
</property>


<property>
<name>hadoop.tmp.dir</name>
<value>/usr/zookeeper</value>
</property>


<property>
<name>ha.zookeeper.quorum</name>
<value>node2:2181,node3:2181,node4:2181</value>
</property>

</configuration>


       *修改hdfs-site.xml

       <configuration>

<property>
<name>dfs.nameservices</name>
<value>BJFU</value>
</property>


<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>


<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>node1:9000</value>
</property>

<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>node1:50070</value>
</property>


<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>node2:9000</value>
</property>

<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>node2:50070</value>
</property>


<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://node2:8485;node3:8485;node4:8485/BJFU</value>
</property>

<property>
<name>dfs.journalnode.edits.dir</name>
<value>/usr/JN</value>
</property>


<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>

<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>


<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
</value>
</property>

<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_dsa</value>
</property>

</configuration>

       *修改mapred-site.xml

           <configuration>

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

       *修改yarn-site.xml

           <configuration>

<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>


<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yrc</value>
</property>


<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>

<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>node3</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>node4</value>
</property>


<property>
<name>yarn.resourcemanager.zk-address</name>
<value>node2:2181,node3:2181,node4:2181</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

           </configuration>

       *修改slaves,配置DN.
           node2
node3
node4

       *在hadoop-env.sh以及yarn-env.sh中指定jdk位置

       *上述的操作都是在node1上进行的，把hadoop的conf的配置文件拷贝到其余节点上

   ------------------------------------------------------------------------------------------------
       以上完成HA配置

       *启动顺序很关键

           1.启动zookeeper集群（分别在node2、node3、node4上启动zk）
               ./bin/zkServer.sh start
               #查看状态：一个leader，两个follower
               ./bin/zkServer.sh status
               【注意】leader与follwer。因为zookeeper中算法是基于选举制的，意思是当得票数超过半数以上时，成为Leader,其他成为Follower。
                   比如我们的这三个服务器分别是A,B,C
                       1.我们依次启动A -> B -> C
                       2.启动A时，A会给自己投票，然后会把信息发送给其他服务器，但是现在就A一个服务器，无法通信，所以A会处于Looking状态
                       3.启动B时，B会给自己投票，因为B的id为2，权重比A大，所以B成为老大，但是此时投票数超过半数所以B成为Leader。
                       4.启动C时，C给自己投票，C权重比A和B都大，但是这个时候B已经成为Leader，所以C只能成为Follower,A和C 成为Follower
                   如果还有 D，E服务器时，这个时候就是5个服务器，当运行到C时，C权重大，成为老大，投票数超过半数成为Leader，虽然D，E服务器ID（权重）比C大，但是由于C已经成为Leader，那么DE只能被迫成为Follower，前提是：C比DE先启动。

           2.启动journalnode（分别在在node2、node3、node4上执行）   ./sbin/hadoop-daemon.sh start journalnode

           3.node1上格式化HDFS ./bin/hdfs namenode -format 然后启动NN   ./sbin/hadoop-daemon.sh start namenode

           4.在node2，node3，node4上分别执行命令：   ./bin/hdfs namenode -bootstrapStandby (拷贝元数据)

           5.格式化ZKFC(在node1上执行即可)   ./bin/hdfs zkfc -formatZK

           6.启动hdfs、yarn

       *查看集群的状态：
           ./bin/hdfs dfsadmin -report 查看hdfs的各节点状态信息
           ./bin/hdfs haadmin -getServiceState nn1 查看namenode高可用
           ./bin/yarn rmadmin –getServiceState rm1 查看ResourceManager高可用

Rita楠神

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Hadoop2.x HA

Hadoop HA(高可用) 一、HDFS HA1.HDFS HA 背景 *hadoop2版本中可以有多个namenode结点，一个是活跃（active）状态，一个是准备（standby）状态。（haoop 1不存在此特性） *HDFS集群中NameNode 存在单点故障（SPOF）。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整...
复制链接

扫一扫