Hadoop高可用配置文件和高可用集群的搭建

搭建Hadoop高可用集群的过程如下：

（一）创建一个新的虚拟机node-01并克隆出node-02和node-03。
（二）对三台虚拟机进行网络配置。
（三）分别将jdk、hadoop和zookeeper上传到三台虚拟机的/export/software目录下。
（四）对第一台虚拟机进行java环境配置，并将相关配置信息发送到第二、三台虚拟机。
（五）对第一台虚拟机进行zookeeper环境配置，并将相关配置信息发送到第二、三台虚拟机。
（六）对第一台虚拟机进行hadoop高可用集群配置文件的修改，并将相关配置信息发送到第二、三台虚拟机。
（七）整合后重新加载配置信息（source /etc/profile）。
（八）进行Hadoop高可用集群的测试。

本篇文章只对Hadoop的配置文件用于记录，其他关于hadoop的集群搭建和环境配置可参考之前文章。

Hadoop集群的搭建1（很全面）
Hadoop集群的搭建2（很全面）
Hadoop集群的搭建3（很全面）

hadoop高可用配置文件如下：

1、修改core-site.xml文件

<configuration>
	<!-- 指定hdfs的nameservice为ns1 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://ns1</value>
	</property>
	<!-- 指定hadoop临时目录-->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.7.4/tmp</value>
	</property>
	<!-- 指定zookeeper地址 -->
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>node-01:2181,node-02:2181,node-03:2181</value>
	</property>
</configuration>

2、修改hdfs-site.xml文件

<configuration>
	<!-- 设置副本个数-->
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	<!--设置namenode.name目录-->
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/export/data/hadoop/name</value>
	</property>
	<!-- 设置namenode.data目录 -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/export/data/hadoop/data</value>
	</property>
	<!-- 开启webHDFS -->
	<property>
		<name>dfs.webhdfs.enabled</name>
		<value>true</value>
	<!-- 在NN和DN上开启WebHDFS (REST API)功能,不是必须-->
	</property>
	<!--指定hdfs的nameservice.为ns1,需要和core-site. xml中的保持一致-->
	<property>
		<name>dfs.nameservices</name>
		<value>ns1</value>
	</property>
	<!-- ns1下面有两个NameNode, 分别是nn1,nn2 -->
	<property>
		<name>dfs.ha.namenodes.ns1</name>
		<value>nn1,nn2</value>
	</property>
	<!-- nn1的RPC通信地址-->
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn1</name>
		<value>node-01:9000</value>
	</property>
	<!-- nn1的http通信地址-->
	<property>
		<name>dfs.namenode.http-address.ns1.nn1 </name>
		<value>node-01:50070</value>
	</property>
	<!-- nn2的RPC通信地址-->
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn2</name>
		<value>node-02:9000</value>
	</property>
	<!-- nn2的http通信地址-->
	<property>
		<name>dfs.namenode.http-address.ns1.nn2</name>
		<value>node-02:50070</value>
	</property>
	<!--指定NameNode的元数据在JournalNode上的存放位置-->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>
qjournal://node-01:8485;node-02:8485;node-03:8485/ns1
		</value>
	</property>
	<!--指定JournalNode在本地磁盘存放数据的位置-->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		|<value>/export/data/hadoop/journaldata</value>
	</property>
	<!-- 开启NameNode失败自动切换-->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	<!--配置失败自动切换实现方式-->
	<property>
		<name>dfs.client.failover.proxy.provider.ns1</name>
		<value>
	org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
		</value>
	</property>
	<!-- 配置隔离机制方法,多个机制用换行分割,即每个机制暂用- -行-->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>
			sshfence
			shell(/bin/true)
		</value>
	</property>
	<!-- 使用sshfence隔离机制时需要ssh免登陆-->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/root/.ssh/id_ rsa</value>
	</property>
	<!-- 配置sshfence隔离机制超时时间-->
	<property>
		<name>dfs.ha.fencing.ssh.connect-timeout</name>
		<value>30000</value>
	</property>
</configuration>

3、修改mapred-site.xml文件

<configuration>
	<!-- 指定mapreduce框架为yarn方式 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

4、修改yarn-site.xml文件

<configuration>
	<property>
		<name>yarn.nodemanager.resource.memory-mb</name>
		<value>2048</value>
	</property>
	<property>
		<name>yarn.scheduler.maximum-allocation-mb</name>
		<value>2048</value>
	</property>
	<property>
		<name>yarn.nodemanager.resource.cpu-vcores</name>
		<value>1</value>
	</property>
	<!-- 开启RM高可用-->
	<property>
		<name>yarn.resourcemanager.ha.enabled</name>
		<value>true</value>
	</property>
	<!--指定RM的cluster id -->
	<property>
		<name>yarn.resourcemanager.cluster-id</name>
		<value>yrc</value>
	</property>
	<!--指定RM的名字-->
	<property>
		<name>yarn.resourcemanager.ha.rm-ids</name>
		<value>rm1,rm2</value>
	</property>
	<!-- 分别指定RM的地址-->
	<property>
		<name>yarn.resourcemanager.hostname.rm1</name>
		<value>node-01</value>
	</property>
	<property>
		<name>yarn.resourcemanager.hostname.rm2</name>
		<value>node-02</value>
	</property>
	<!--指定zk集群地址-->
	<property>
		<name>yarn.resourcemanager.zk-address</name>
		<value>node-01:2181,node-02:2181,node-03:2181</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

5、修改slaves文件

node-01
node-02
node-03

6、修改hadoop-env.sh文件