HaDoop 2.X版本 搭建高可用集群

前边两篇博客记录了使用 hadoop 1.x的方式搭建伪分布式和全分布式，但是，搭建的集群并不是高可用的，这里记录一下如何使用2.x方式搭建高可用的集群。

1、前期准备

与搭建全分布一样的前期准备，为一的区别是要准备一主一备两台nameNode服务器，其他的时间、防火墙、域名映射、hostname、免密钥等与全分布式一样。

2、两个 nameNode节点免密钥

假如主的节点是node08，备的节点是node09
在node08节点下

ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
scp id_dsa.pub node09:`pwd`/node08.pub # 将 node08的 id_dsa.pub 分发到 node09上
在node09的 .ssh目录下，执行 cat node08.pub >> authorized_keys 达到node08登录node09没有密钥，但是node09无法免密钥登录node08.

在node09节点下

ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
scp id_dsa.pub node08:`pwd`/node09.pub # 将 node09的 id_dsa.pub 分发到 node08上
在node08的 .ssh目录下，执行 cat node09.pub >> authorized_keys

做完上边两步就可以做到两个节点免密钥

3、下载hadoop并且配置环境变量

配置环境变量,HADOOP_HOME对应的是hadoop的安装目录

export HADOOP_HOME=/opt/hes/hadoop-2.6.5
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

二次配置环境变量，进入 hadoop目录下的etc/hadoop目录中
修改 hadoop-env.sh
找到这个位置，将JAVA_HOME地址换为环境变量中的JAVA_HOME的值

修改mapred-env.sh
找到这个位置，将JAVA_HOME地址换为环境变量中的JAVA_HOME的值

修改yarn-env.sh
找到这个位置，将JAVA_HOME地址换为环境变量中的JAVA_HOME的值

3、配置 hdfs.xml 、core-site.xml、slaves 文件

hdfs.xml

<configuration>
        <property>
          <name>dfs.replication</name>
          <value>2</value> # 副本数
        </property>
        
        <property>
          <name>dfs.nameservices</name>
          <value>mycluster</value>
        </property>
        
        <property>
          <name>dfs.ha.namenodes.mycluster</name>
          <value>nn1,nn2</value>
        </property>
        
        <property>
          <name>dfs.namenode.rpc-address.mycluster.nn1</name>
          <value>demo001:8020</value>  # 对应的是主节点的主机名
        </property>
        
        <property>
          <name>dfs.namenode.rpc-address.mycluster.nn2</name>
          <value>demo002:8020</value>  # 对应的是副节点的主机名
        </property>
        
        <property>
          <name>dfs.namenode.http-address.mycluster.nn1</name>
          <value>demo001:50070</value>
        </property>
        
        <property>
          <name>dfs.namenode.http-address.mycluster.nn2</name>
          <value>demo002:50070</value>
        </property>
        
        <property>
          <name>dfs.namenode.shared.edits.dir</name>
          <value>qjournal://demo001:8485;demo002:8485;demo003:8485/mycluster</value>  # 指明有哪几个节点配置 journalnode
        </property>
        
        <property>
          <name>dfs.journalnode.edits.dir</name>
          <value>/var/hes/hadoop/ha/jn</value>
        </property>
        
        <property>
          <name>dfs.client.failover.proxy.provider.mycluster</name>
    	  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>
        
        <property>
          <name>dfs.ha.fencing.methods</name>
          <value>sshfence</value>
        </property>
        
        <property>
          <name>dfs.ha.fencing.ssh.private-key-files</name>
          <value>/root/.ssh/id_dsa</value>
        </property>
        
        <property>
          <name>dfs.ha.automatic-failover.enabled</name>
          <value>true</value>
         </property>
         
</configuration>

core-site.xml

<configuration>
	<property>
	  <name>fs.defaultFS</name>
	  <value>hdfs://demo001:9000</value>
	</property>
	
	<property>
	  <name>hadoop.tmp.dir</name>
	  <value>/var/hes/hadoop-2.6/ha</value>
	</property>
	
	<property>
 	  <name>fs.defaultFS</name>
 	  <value>hdfs://mycluster</value>
	</property>
	
	<property>
  	  <name>ha.zookeeper.quorum</name>
  	  <value>demo002:2181,demo003:2181,demo004:2181</value>
	</property>
	
</configuration>

slaves文件修改
这个文件时指定dataName节点的，打开文件加入其它节点的hostsname名字

demo002
demo003
demo004

4、在主节点配置完成后分发给其他节点

可以直接将 hadoop整个文件分发给其他节点

scp -r hadoop文件夹 demo002:`pwd` # 按照这个命令分发给其他节点
也可以将 /etc/profile 文件分发给其他节点，可以省去配置环境变量，也可以自己配

5、安装 zookeeper集群 ,不安装在主节点上，其余节点都安装

所有集群节点将zookeeper安装到相同的目录。我是安装到 /opt/hes 目录下

6、进入conf目录，将zoo_sample.cfg 文件名改为zoo.cfg并配置

在zoo.cfg 最下边添加，配置每台服务器对应的id，每一个节点上都修改
server.1=demo002:2888:3888
server.2=demo003:2888:3888
server.3=demo004:2888:3888

7、配置zookeeper环境变量

配置一个节点的 /etc/profile 文件，然后分发给其他节点

export ZOOKEEPER_HOME=/opt/hes/zookeeper-3.4.6  #  zookeeper文件所在目录
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin

8、安装 zookeeper 的节点上创建一个目录，然后将对应的id号写到文件myid中

mkdir -p /var/hes/zk
echo 对应的id > /var/hes/zk/myid

9、启动zkServer.sh start 集群

如果出现错误，查看日志可知：/tmp/zookeeper/myid file is missing
重新将每个服务器端对应的id写入/tmp/zookeeper/myid 中，在重启就行了
使用jps查看进程，会有两个进程

10、对应的三个节点启动 journalnode 集群

hadoop-daemon.sh start journalnode

11、随意找一个namenode节点格式化

hdfs namenode -format
启动该节点
hadoop-daemon.sh start namenode
另外一个namenode节点同步数据
hdfs namenode -bootstrapStandby

11、主nn节点中格式化zkfc，在zookeeper中可见目录创建

hdfs zkfc -formatZK

在zookeeper客户端可以看到

进入客户端：zkCli.sh
[zk: localhost:2181(CONNECTED) 1] ls /
[hadoop-ha, zookeeper]
[zk: localhost:2181(CONNECTED) 2] ls /hadoop-ha
[mycluster]

12、主namenode节点启动集群

start-dfs.sh