分布式文件系统Hadoop（三）深入部署

分布式文件系统Hadoop（三）深入部署

Hadoop HA
HA是指高可用，为了解决Hadoop单点故障问题，生产环境一般都做HA部署。
集群可以持续对外提供服务，做到7*24小时不间断，依赖于zookeeper。完全分布式的架构模式为一主多从，高可用集群架构为多主多从，也就是说高可用集群至少有两个namenode，但是同一时间只有一个是活跃的。我们把这个活跃的namenode称为active，其它的属于热备份状态，这们把这个namenode称之为standby，并且存储的元数据与active是一模一样的，当active宕机的时候，standby会立马切换为active。如果刚才宕机的namenode又恢复正常了，但是这个namenode只能是standby。但是这个集群也存在一个缺陷，就是在同一时间内只能有一个活跃的namenode。如果节点非常多（即元数据过多），这个活跃的namenode很容易崩溃。

联邦机制
同一个集群中可以有多个namenode，并且同一时间可以有多个活跃的namenode，这些namenode 共同使用集群中所有的datanode，每个namenode只负责管理集群中datanode上的一部分数据。但是联邦机制也会存在单点故障问题，如某一个活跃的namenode宕机了，会造成存在此namenode的数据无法访问，因此，一般的来说实际应用使用“联邦+高可用”模式搭建集群。

Hadoop HA

HA的意思是High Availability高可用，指当当前工作中的机器宕机后，会自动处理这个异常，并将工作无缝地转移到其他备用机器上去，以来保证服务的高可用。
HA方式安装部署才是最常见的生产环境上的安装部署方式。Hadoop HA是Hadoop 2.x中新添加的特性，包括NameNode HA 和 ResourceManager HA。因为DataNode和NodeManager本身就是被设计为高可用的，所以不用对他们进行特殊的高可用处理。

ntp服务

Hadoop对集群中各个机器的时间同步要求比较高，要求各个机器的系统时间不能相差太多，不然会造成很多问题。可以配置集群中各个机器和互联网的时间服务器进行时间同步，但是在实际生产环境中，集群中大部分服务器是不能连接外网的，这时候可以在内网搭建一个自己的时间服务器（NTP服务器），集群的各个机器与这个时间服务器进行时间同步。

我们选择node3为NTF服务器，其他机器和这台机器进行同步。
1、 检查ntp服务是否已经安装
sudo rpm -qa | grep ntp
ntpdate-4.2.6p5-1.el6.centos.x86_64
ntp-4.2.6p5-1.el6.centos.x86_64
#显示已经安装过了ntp程序，
#其中ntpdate-4.2.6p5-1.el6.centos.x86_64 是用来和某台服务器进行同步的，
#ntp-4.2.6p5-1.el6.centos.x86_64是用来提供时间同步服务的。
2、 修改配置文件ntp.conf
vim /etc/ntp.conf
启用restrice,修改网段
restrict 192.168.100.0 mask 255.255.255.0 nomodify notrap 
将这行的注释去掉，并且将网段改为集群的网段，我们这里是100网段。
注释掉server域名配置
    #server 0.centos.pool.ntp.org iburst
    #server 1.centos.pool.ntp.org iburst
    #server 2.centos.pool.ntp.org iburst
    #server 3.centos.pool.ntp.org iburst
是时间服务器的域名，这里不需要连接互联网，所以将他们注释掉。
修改
server 127.127.1.0
fudge 127.127.1.0 stratum 10

3、 修改配置文件ntpd
vim /etc/sysconfig/ntpd
添加一行配置：SYNC_CLOCK=yes
4、 启动ntp服务
systemctl start ntpd 
systemctl enabled ntpd 

配置其他机器的同步
node2 1
切换到root用户进行配置通过contab进行定时同步：
crontab -e 

修改1/2的时间看十分钟后是否会同步回来

Zookeeper

Zookeeper在Hadoop集群中的作用:
Zookeeper是分布式管理协作框架，Zookeeper集群用来保证Hadoop集群的高可用，（高可用的含义是：集群中就算有一部分服务器宕机，也能保证正常地对外提供服务。）

Zookeeper保证高可用的原理。
Zookeeper集群能够保证NamaNode服务高可用的原理是：Hadoop集群中有两个NameNode服务，两个NaameNode都定时地给Zookeeper发送心跳，告诉Zookeeper我还活着，可以提供服务，单某一个时间只有一个是Action状态，另外一个是Standby状态，一旦Zookeeper检测不到Action NameNode发送来的心跳后，就切换到Standby状态的NameNode上，将它设置为Action状态，所以集群中总有一个可用的NameNode，达到了NameNode的高可用目的。

Zookeeper的选举机制。
Zookeeper集群也能保证自身的高可用，保证自身高可用的原理是，Zookeeper集群中的各个机器分为Leader和Follower两个角色，写入数据时，要先写入Leader，Leader同意写入后，再通知Follower写入。客户端读取数时，因为数据都是一样的，可以从任意一台机器上读取数据。
这里Leader角色就存在单点故障的隐患，高可用就是解决单点故障隐患的。Zookeeper从机制上解决了Leader的单点故障问题，Leader是哪一台机器是不固定的，Leader是选举出来的。选举流程是，集群中任何一台机器发现集群中没有Leader时，就推荐自己为Leader，其他机器来同意，当超过一半数的机器同意它为Leader时，选举结束，所以Zookeeper集群中的机器数据必须是奇数。这样就算当Leader机器宕机后，会很快选举出新的Leader，保证了Zookeeper集群本身的高可用。

写入高可用。
集群中的写入操作都是先通知Leader，Leader再通知Follower写入，实际上当超过一半的机器写入成功后，就认为写入成功了，所以就算有些机器宕机，写入也是成功的。

读取高可用。
zookeeperk客户端读取数据时，可以读取集群中的任何一个机器。所以部分机器的宕机并不影响读取。

zookeeper服务器必须是奇数台，因为zookeeper有选举制度，角色有：领导者、跟随者、观察者，选举的目的是保证集群中数据的一致性。

我们这里在台机器上安装zookeeper集群。
node1
tar -zxf /opt/sofeware/zookeeper-3.4.8.tar.gz -C /opt/modules/
#拷贝conf下的zoo_sample.cfg副本，改名为zoo.cfg。zoo.cfg是zookeeper的配置文件：
cp conf/zoo_sample.cfg conf/zoo.cfg
#dataDir属性设置zookeeper的数据文件存放的目录：
dataDir=/opt/modules/zookeeper-3.4.8/data/zData
#指定zookeeper集群中各个机器的信息：
    server.1=bigdata-senior01.chybinmy.com:2888:3888
    server.2=bigdata-senior02.chybinmy.com:2888:3888
    server.3=bigdata-senior03.chybinmy.com:2888:3888
#server后面的数字范围是1到255，所以一个zookeeper集群最多可以有255个机器。

#创建myid文件
在dataDir所指定的目录下创一个名为myid的文件，文件内容为server点后面的数字。
touch /opt/modules/zookeeper-3.4.8/data/zData/myid
echo 1 >> /opt/modules/zookeeper-3.4.8/data/zData/myid
##配置完成
分发到其他机器
scp -r /opt/modules/zookeeper-3.4.8 bigdata-senior02.chybinmy.com:/opt/modules
scp -r /opt/modules/zookeeper-3.4.8 bigdata-senior03.chybinmy.com:/opt/modules
修改其他机器上的myid文件
echo 2 > /opt/modules/zookeeper-3.4.8/data/zData/myid
echo 3 > /opt/modules/zookeeper-3.4.8/data/zData/myid
#启动zookeeper
需要在各个机器上分别启动zookeeper。
bin/zkServer.sh start

'zookeeper命令
进入zookeeper Shell
在zookeeper根目录下执行 bin/zkCli.sh进入zk shell模式。
zookeeper很像一个小型的文件系统，/是根目录，下面的所有节点都叫zNode。
进入zk shell 后输入任意字符，可以列出所有的zookeeper命令
查询zNode上的数据：get /zookeeper
创建一个zNode : create /znode1 “demodata “
列出所有子zNode：ls /
删除znode : rmr /znode1
退出shell模式：quit'

HDFS HA 部署

HDFS HA原理
单NameNode的缺陷存在单点故障的问题，如果NameNode不可用，则会导致整个HDFS文件系统不可用。所以需要设计高可用的HDFS（Hadoop HA）来解决NameNode单点故障的问题。解决的方法是在HDFS集群中设置多个NameNode节点。但是一旦引入多个NameNode，就有一些问题需要解决。
HDFS HA需要保证的四个问题：
保证NameNode内存中元数据数据一致，并保证编辑日志文件的安全性。
多个NameNode如何协作
客户端如何能正确地访问到可用的那个NameNode。

怎么保证任意时刻只能有一个NameNode处于对外服务状态。
解决方法
对于保证NameNode元数据的一致性和编辑日志的安全性，采用Zookeeper来存储编辑日志文件。
两个NameNode一个是Active状态的，一个是Standby状态的，一个时间点只能有一个Active状态的
NameNode提供服务,两个NameNode上存储的元数据是实时同步的，当Active的NameNode出现问题时，通过Zookeeper实时切换到Standby的NameNode上，并将Standby改为Active状态。
客户端通过连接一个Zookeeper的代理来确定当时哪个NameNode处于服务状态。

HDFS HA架构中有两台NameNode节点，一台是处于活动状态（Active）为客户端提供服务，另外一台处于热备份状态（Standby）。

元数据文件有两个文件：fsimage和edits，备份元数据就是备份这两个文件。JournalNode用来实时从Active NameNode上拷贝edits文件，JournalNode有三台也是为了实现高可用。

Standby NameNode不对外提供元数据的访问，它从Active NameNode上拷贝fsimage文件，从JournalNode上拷贝edits文件，然后负责合并fsimage和edits文件，相当于SecondaryNameNode的作用。最终目的是保证Standby NameNode上的元数据信息和Active NameNode上的元数据信息一致，以实现热备份。

Zookeeper来保证在Active NameNode失效时及时将Standby NameNode修改为Active状态。

ZKFC（失效检测控制）是Hadoop里的一个Zookeeper客户端，在每一个NameNode节点上都启动一个ZKFC进程，来监控NameNode的状态，并把NameNode的状态信息汇报给
Zookeeper集群，其实就是在Zookeeper上创建了一个Znode节点，节点里保存了NameNode状态信息。当NameNode失效后，ZKFC检测到报告给Zookeeper，Zookeeper把对应的Znode删除掉，Standby ZKFC发现没有Active状态的NameNode时，就会用shell命令将自己监控的NameNode改为Active状态，并修改Znode上的数据。
Znode是个临时的节点，临时节点特征是客户端的连接断了后就会把znode删除，所以当ZKFC失效时，也会导致切换NameNode。

DataNode会将心跳信息和Block汇报信息同时发给两台NameNode，DataNode只接受Active NameNode发来的文件读写操作指令。

node1	node2	node3
NameNode	NameNode
Zookeeper	Zookeeper	Zookeeper
DataNode	DataNode	DataNode
	ResourceManage	ResourceManage
NodeManager	NodeManager	NodeManager

三台机器上分别创建目录/opt/modules/hadoopha/用来存放Hadoop HA环境。
mkdir /opt/modules/hadoopha
tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz -C /opt/modules/hadoopha/
修改hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中的JDK路径
export JAVA_HOME="/opt/modules/jdk1.7.0_67"
# 配置hdfs-site.xml
    <?xml version="1.0" encoding="UTF-8"?>
    <configuration>
      <property>
        <!-- 为na