第四章 搭建Hadoop高可用集群（HA）

系列文章：
第一章 Hadoop集群搭建的准备
第二章 Hadoop集群搭建
第三章 Zookeeper分布式集群部署（2n+1台虚拟机）
第四章 Hadoop高可用集群搭建（HA）
第五章 Hive的安装与配置
待更新
第九章 spark独立模式部署（Standalone）
第十章 spark配置历史服务
第十一章 搭建Spark高可用（HA）
第十二章 spark配置Yarn模式（混合部署模式）
待更新

---

---

前言

---

一、搭建普通Hadoop集群，设三台主机名为node1，node2，node3。

    参考第二章 Hadoop集群搭建，配置文件按照本文配置。

二、Hadoop集群配置

   配置完后，请仔细检查配置文件的内容是否正确。

1.配置Hadoop集群的配置文件（配置文件都保存在/export/servers/hadoop-2.7.4/etc/hadoop目录下）

（1）配置Hadoop集群主节点（这里将node1作为主节点）

   进入/export/servers/hadoop-2.7.4/etc/hadoop目录下，代码如下：

cd /export/servers/hadoop-2.7.4/etc/hadoop

 1）配置hadoop-env.sh文件

vim hadoop-env.sh

  找到export JAVA_HOME参数，去掉开头的注释符“＃”，并给它赋值，如下：

export JAVA_HOME＝/export/servers/jdk1.8.0_291

 2）配置core-site.xml文件

  打开core-site.xml文件，代码如下：

vim core-site.xml

  将文件的<configuration></configuration>标签替换成以下内容：

<configuration>
	<!--指定hdfs的nameservice为ns1-->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://ns1</value>
	</property>
	<!--指定hadoop临时目录-->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.7.4/tmp</value>
	</property>
	<!--指定zookeeper地址-->
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>node1:2181,node2:2181,node3:2181</value>
	</property>
</configuration>

 3）配置hdfs-site.xml文件

  打开hdfs-site.xml文件，代码如下：

vim hdfs-site.xml

  将文件的<configuration></configuration>标签替换成以下内容：

<configuration>
	<!--设置副本个数-->
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	<!--设置namenode.name目录-->
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/export/data/hadoop/name</value>
	</property>
	<!--设置datanode.data目录-->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/export/data/hadoop/data</value>
	</property>
	<!--开启webHDFS-->
	<property>
		<name>dfs.webhdfs.enabled</name>
		<value>true</value>
		<!--在namenode和datanode上开启webHDFS（REST API）功能，不是必须-->
	</property>
	<!--指定hdfs的nameservice为ns1-->
	<property>
		<name>dfs.nameservices</name>
		<value>ns1</value>
	</property>
	<!--ns1下有两个NameNode，分别是nn1，nn2-->
	<property>
		<name>dfs.ha.namenodes.ns1</name>
		<value>nn1,nn2</value>
	</property>
	<!--nn1的RPC通信地址-->
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn1</name>
		<value>node1:9000</value>
	</property>
	<!--nn1的http通信地址-->
	<property>
		<name>dfs.namenode.http-address.ns1.nn1</name>
		<value>node1:50070</value>
	</property>
	<!--nn2的RPC通信地址-->
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn2</name>
		<value>node2:9000</value>
	</property>
	<!--nn2的http通信地址-->
	<property>
		<name>dfs.namenode.http-address.ns1.nn2</name>
		<value>node2:50070</value>
	</property>
	<!--指定NameNode的元数据在JournalNode上的存放位置-->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://node1:8485;node2:8485;node3:8485/ns1</value>
	</property>
	<!--指定JournalNode在本地磁盘存放数据的位置-->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/export/data/hadoop/journaldata</value>
	</property>
	<!--开启NameNode失败自动切换-->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	<!--配置失败自动切换实现方式-->
	<property>
		<name>dfs.client.failover.proxy.provider.ns1</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	<!--配置隔离机制方法，多个机制用换行分割，即每个机制占用一行-->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>
			sshfence
			shell(/bin/true)
		</value>
	</property>
	<!--使用sshfence隔离机制时需要ssh免登录-->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/root/.ssh/id_rsa</value>
	</property>
	<!--配置sshfence隔离机制超时时间-->
	<property>
		<name>dfs.ha.fencing.ssh.connect-timeout</name>
		<value>30000</value>
	</property>
</configuration>

 4）配置mapred-site.xml文件

  该文件的文件名为mapred-site.xml.template，需执行以下命令更改文件名为mapred-site.xml：

mv mapred-site.xml.template mapred-site.xml

  打开mapred-site.xml文件，代码如下：

vim mapred-site.xml

  将文件的<configuration></configuration>标签替换成以下内容：

<configuration>
	<!--指定MapReduce运行时框架，这里指定在Yarn上，默认是local -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

 5）配置yarn-site.xml文件

  打开yarn-site.xml文件，代码如下：

vim yarn-site.xml

  将文件的<configuration></configuration>标签替换成以下内容：

<configuration>
	<property>
		<name>yarn.nodemanager.resource.memory-mb</name>
		<value>2048</value>
	</property>
	<property>
		<name>yarn.scheduler.maximum-allocation-mb</name>
		<value>2048</value>
	</property>
	<property>
		<name>yarn.nodemanager.resource.cpu-vcores</name>
		<value>1</value>
	</property>
	<!--开启RM高可用-->
	<property>
		<name>yarn.resourcemanager.ha.enabled</name>
		<value>true</value>
	</property>
	<!--指定RM的cluster id-->
	<property>
		<name>yarn.resourcemanager.cluster-id</name>
		<value>yrc</value>
	</property>
	<!--指定RM的名字-->
	<property>
		<name>yarn.resourcemanager.ha.rm-ids</name>
		<value>rm1,rm2</value>
	</property>
	<!--分别指定RM的地址-->
	<property>
		<name>yarn.resourcemanager.hostname.rm1</name>
		<value>node1</value>
	</property>
	<property>
		<name>yarn.resourcemanager.hostname.rm2</name>
		<value>node2</value>
	</property>
	<!--指定zk集群地址-->
	<property>
		<name>yarn.resourcemanager.zk-address</name>
		<value>node1:2181,node2:2181,node3:2181</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

 6）修改slaves文件

  打开slaves文件，代码如下：

vim slaves

  先清空原文件内容，然后添加整个集群的从节点，内容如下：

node1
node2
node3

 7）将集群主节点（node1）的配置文件分发给其他子节点。

  在node1下执行依次以下命令：

scp -r /export/servers/hadoop-2.7.4 node2:/export/servers/
scp -r /export/servers/hadoop-2.7.4 node3:/export/servers/

（2）启动Hadoop高可用集群

 1）启动各节点的Zookeeper服务

   启动服务前关闭三台虚拟机的防火墙，使三台虚拟机能够通讯。否则服务无法启动成功。虚拟机(文章以CentOS为例)均执行以下命令：

service iptables stop

   先进入zookeeper的bin目录。
   启动：每台虚拟机均执行以下命令

./zkServer.sh start

 2）启动各节点监控NameNode的管理日志的JournalNode

hadoop-daemon.sh start journalnode

 3）在node1节点格式化NameNode，并将格式化后的目录复制到node2中。

  在node1下执行依次以下命令：

hadoop namenode -format
scp -r /export/data/hadoop node2:/export/data

 4）在node1节点上格式化ZKFC。

hdfs zkfc -formatZK

 5）在node1上开启HDFS和YARN。

start-all.sh

datanode节点无法全部开启问题的解决办法

  打开Hadoop的安装路径，进入安装路径下的Hadoop-2.7.4/tmp/dfs/data目录，将所有节点（所有虚拟机）的current文件夹删除。这里Hadoop的安装路径是/export/servers，命令如下（所有虚拟机均执行）：

cd /export/servers/hadoop-2.7.4/tmp/dfs/data
rm -rf current

  完成后，重启Hadoop集群即可。
  成功后如下所示：