HA-高可用的HDFS搭建（hdfs+zookeeper）（一）

早期的Hadoop1.x版本，NN是HDFS集群的单点故障点，每一个集群只有一个NN,如果这个机器或进程不可用，整个集群就无法使用。

为了解决这个问题在Hadoop2.x中借助于中间特定的中间渠道解决单点故障点问题，官方文档中提供两种解决方法： NFS和QJM

NFS:采用的是网络共享文件模式

QJM：Quorum Journal Manager  是hdfs用来共享Action NameNode与Standby NameNode之间的edit logs

 Quorum Journal Manager (QJM) to share edit logs between the Active and Standby NameNodes

HA-hdfs的设计架构图

• 基本原理就是用2N+1台 JN 存储EditLog，每次写数据操作有大多数（>=N+1）返回成功时即认为该次写成功，数据不会丢失了。当然这个算法所能容忍的是最多有N台机器挂掉，如果多于N台挂掉，这个算法就失效了。这个原理是基于Paxos算法
• 在HA架构里面SecondaryNameNode这个冷备角色已经不存在了，为了保持standby NN时时的与主Active NN的元数据保持一致，他们之间交互通过一系列守护的轻量级进程JournalNode
• 任何修改操作在 Active NN上执行时，JN进程同时也会记录修改log到至少半数以上的JN中，这时 Standby NN 监测到JN 里面的同步log发生变化了会读取 JN 里面的修改log，然后同步到自己的的目录镜像树里面

关于原理的的知识暂时就不多说了

首先开始一步一步搭建吧

 简单介绍概况：

Linux服务器 4台 node01 node02 node03 node04

各个节点分布与使用

集群节点分布 

服务节点	NN	DN	JN	ZK	ZKFC
node01	1			1	1
node02	1	1	1	1	1
node03		1	1	1
node04		1	1

NN: namenode部署node01,node02

DN：datenode部署node02,node03node04

JN: journalnode 部署node02,node03node04

。。。就不依次介绍了

搭建前提要求：

 1. 最好配置有 ssh免密钥（RSA）

 2. Zookeeper集群环境（具体可以参考官网）

  3. Hadoop安装包

    wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.8.3/hadoop-2.8.3.tar.gz 

开始配置Hdfs的配置文件

1. 解压tar包

tar -xvf  hadoop-2.8.3.tar.gz 

2. 修改配置文件

进入 解压的文件 的 etc/

 第一步：    

  修改hadoop-env.sh  的 JAVA_HOME的路径（经常无法识别JAVA_HOME--所有直接指定路径）

vim hadoop-env.sh   

第二步：

 修改   hdfs-site.xml  

 namenode服务名称 
  <property>
     <name>dfs.nameservices</name>
     <value>hdfsServer</value>
   </property>
   
 namenode服务节点
  <property>
    <name>dfs.ha.namenodes.hdfsServer</name>
      <value>nn1,nn2</value>
  </property>
  
  namenode通信RPC
   <property>
     <name>dfs.namenode.rpc-address.hdfsServer.nn1</name>
       <value>node01:8020</value>
    </property>

    <property>
        <name>dfs.namenode.rpc-address.hdfsServer.nn2</name>
        <value>node02:8020</value>
   </property>
   
   namenode通信Http
   <property>
      <name>dfs.namenode.http-address.hdfsServer.nn1</name>
        <value>node01:50070</value>
        </property>
    <property>
        <name>dfs.namenode.http-address.hdfsServer.nn2</name>
        <value>node02:50070</value>
   </property>

JN   
    <property>
       <name>dfs.namenode.shared.edits.dir</name>
       <value>qjournal://node02:8485;node03:8485;node04:8485/hdfsServer</value>
    </property>

	 故障迁移
	 <property>
      <name>dfs.client.failover.proxy.provider.hdfsServer</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
	
	免密钥
	<property>
           <name>dfs.ha.fencing.methods</name>
           <value>sshfence</value>
    </property>

    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
    </property>
 
	
	JN edits 文件
	<property>
       <name>dfs.journalnode.edits.dir</name>
       <value>/root/hdpdata/journal/data</value>
     </property>

	启动自动的故障迁移
<property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
 </property>

修改core-site.xml

 <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hdfsServer</value>
    </property>
	
	zookeeper集群
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>node01:2181,node02:2181,node03:2181</value>
     </property>

注意：

完成上述配置后使用 scp -r  xxxx node02:$PWD  

将配置后的hadop配置文件依次拷贝到不同的服务节点上

具体启动方式见下篇文章 ---->  HA-高可用的HDFS搭建（hdfs+zookeeper）（二）