HDFS HA高可用完全分布式搭建步骤

集群规划：

	NameNode	DataNode	ZooKeeper	ZKFC	JournalNode
node01	√			√	√
node02	√	√	√	√	√
node03		√	√		√
node04		√	√

准备

1. 在每个节点的/etc/hosts文件中配置对各个主机的映射
2. 关闭防火墙chkconfig iptables off
3. 每个节点安装JDK
4. 配置node01到包括自己的每个节点免密登录，以及node02到node01的免密登录
5. 每个节点安装ntp，然后进行时间同步
   可以参考https://blog.csdn.net/PowerBlogger/article/details/83002981

开始搭建

1. 搭建Zookeeper集群

1).官网下载zookeeper-3.4.10.tar.gz
2).将下载的压缩包上传到node02节点并解压（解压的目录并无强制要求，笔者解压到了和Hadoop目录下）
3).把conf目录下的zoo_sample.cfg名称改为zoo.cfg① mv zoo_sample.cfg zoo.cfg
4).修改zoo.cfg，把下面的内容加入配置文件

①	dataDir=/var/zfg/zookeeper
②	server.1=node02:2888:3888
③	server.2=node03:2888:3888
④	server.3=node04:2888:3888

5).根据dataDir配置的的路径创建目录，然后在目录下创建myid文件(node02、node03、node04都要创建）

mkdir -p /var/zfg/zookeeper
vim myid

6).在myid文件中写上配置文件中对应的id，比如node02中就是1，node03和node04依次累加

7).将配置好的zookeeper安装包拷贝到node03 node04

scp -r zookeeper-3.4.10 root@node03:`pwd`
scp -r zookeeper-3.4.10 root@node03:`pwd`

2. 搭建Hadoop集群

1). 修改hdfs-site.xml配置文件

<property>
 		    <name>dfs.nameservices</name>
 		    <value>mycluster</value>
</property>
<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>node01:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>node02:8020</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>node01:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>node02:50070</value>
</property>
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value>
</property>
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/var/abc/hadoop/ha/jn</value>
</property>
<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>  	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_rsa</value>
</property>
<property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
 </property>

2).修改core-site.xml配置文件

<property>
   <name>fs.defaultFS</name>
   <value>hdfs://mycluster</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/var/abc/hadoop/cluster</value>
</property>
<property>
   <name>ha.zookeeper.quorum</name>
   <value>node02:2181,node03:2181,node04:2181</value>
</property>

3). 修改slaves配置文件

node02 
node03 
node04

4).将配置好的HDFS安装包拷贝到node02 node03 node04

3.初始化启动Hadoop HA集群

1).启动Zookeeper集群，在每个Zookeeper节点（node02,node03,node04）的Zookeeper安装目录下的bin目录中执行zkServer.sh start，如果提示找不到命令，可以执行./zkServer.sh start
成功启动之后，使用zkServer.sh status命令可以查看到有一台为leader

其他两台为follower

2).在node01，node02，node03中开启journalnode
执行hadoop-daemon.sh start journalnode
成功启动后使用jps命令可以查看到开启的journalnode进程

3).初始化NameNode，在node01中执行

	hdfs namenode -format
	hadoop-daemon.sh start namenode

4).在node02中执行

	hdfs namenode  -bootstrapStandby

5).初始化zkfc

	hdfs zkfc -formatZK

6).关闭所有节点

	stop-dfs.sh

7).启动HDFS

	start-dfs.sh

问题解决

如果启动后发现有些进程没有正常启动，可以查看启动过程中是否有报错，然后再根据错误信息来解决，如果未能解决或者过程中没有报错最终未成功启动，可以尝试先关闭所有已开启的进程，然后把core-site.xml中配置的路径中的文件夹全部删除，然后再重新初始化，或者直接把所有节点的hadoop文件夹也删除之后再重新配置分发，然后再进行初始化