hadoop的高可用部署

搭建步骤

1.检查阶段

	1.1. 检查环境是否安装了JDK、Zookeeper、Hadoop。
	1.2. 检查Hosts文件是否做了IP和主机名的映射关系
	1.3. 检查免密登录是否完成，测试三台服务器之间是否可以免密登录。
	1.4. 检查主机是否修改了主机名。

2.部署阶段

2.1修改hadoop的配置文件(一定要注意路径的问题)
2.1.1 vim hadoop-env.sh

export JAVA_HOME=/home/software/jdk1.8.0_131
export HADOOP_CONF_DIR=/home/software/hadoop-2.9.2/etc/hadoop

2.1.2 vim core-site.xml

<configuration>
			<!--指定hdfs的nameservice，为整个集群起一个别名-->
			<property>
			  <name>fs.defaultFS</name>
			  <value>hdfs://ns</value>
			</property>
			
			<!--指定Hadoop数据存放目录-->
			<property>
			  <name>hadoop.tmp.dir</name>
			  <value>/home/software/hadoop-2.9.2/tmp</value>
			</property>
			
			<!--指定Zookeeper的地址-->
			<property>
			  <name>ha.zookeeper.quorum</name>
			  <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
			</property>
			</configuration>

2.1.3 vim hdfs-site.xml

<configuration>
		<!--执行HDFS的nameservice为ns，注意此处的需要和core-site.xml中的名称保持一致-->
		<property>
		<name>dfs.nameservices</name>
		<value>ns</value>
		</property>
		
		<!--ns集群中有两个namenode，分别为nn1，nn2-->
		<property>
		<name>dfs.ha.namenodes.ns</name>
		<value>nn1,nn2</value>
		</property>
		
		<!--配置nn1的RPC的通信地址-->
		<property>
		<name>dfs.namenode.rpc-address.ns.nn1</name>
		<value>hadoop01:9000</value>
		</property>
		
		<!--配置nn1的http通信地址-->
		<property>
		<name>dfs.namenode.http-address.ns.nn1</name>
		<value>hadoop01:50070</value>
		</property>
		
		<!--配置nn2的RPC的通信地址-->
		<property>
		<name>dfs.namenode.rpc-address.ns.nn2</name>
		<value>hadoop02:9000</value>
		</property>
		
		<!--配置nn2的http通信地址-->
		<property>
		<name>dfs.namenode.http-address.ns.nn2</name>
		<value>hadoop02:50070</value>
		</property>
		
		<!-- 指定NameNode1的元数据存放在JournalNode上面，NameNode2可以从JournalNode上面获取信息，从而达到热备的效果-->
		<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://hadoop01:8485;hadoop02:8485;hadoop03:8485/ns</value>
		</property>
		
		<!--配置JournalNode的数据存放在本地硬盘上-->
		<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/home/software/hadoop-2.9.2/tmp/journal</value>
		</property>
		
		<!--开启NameNode在遇到故障时自动切换-->
		<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
		</property>
		
		<!--配置遇到失败自动切换的实现方式-->
		<property>
		<name>dfs.client.failover.proxy.provider.ns</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
		</property>
		
		<!--配置隔离机制-->
		<property>
		<name>dfs.ha.fencing.methods</name>
		<value>sshfence</value>
		</property>
		
		<!--配置隔离机制时需要使用ssh免登录-->
		<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/root/.ssh/id_rsa</value>
		</property>
		
		<!--配置namenode存放的元数据目录，此项不配置也可以，如果不配置那么则默认存放到hadoop.tmp.dir目录下-->
		<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///home/software/hadoop-2.9.2/tmp/hdfs/name</value>
		</property>
		
		<!--配置datanode存放数据的目录，此项也可以不配置，同上！-->
		<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///home/software/hadoop-2.9.2/tmp/hdfs/data</value>
		</property>
		
		<!--配置副本的数量-->
		<property>
		<name>dfs.replication</name>
		<value>3</value>
		</property>
		
		<!--设定hdfs的用户操作权限，false则表示关闭验证，任何人都可以操作-->
		<property>
		<name>dfs.permissions</name>
		<value>false</value>
		</property>
		</configuration>

2.1.4 vim mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

2.1.5 vim yarn-site.xml

<configuration>
		<!--配置yarn的高可用-->
		<property>
		<name>yarn.resoucemanager.ha.enabled</name>
		<value>true</value>
		</property>
		
		<!--指定两个resourcemanager的名称-->
		<property>
		<name>yarn.resoucesmanager.ha.rm-ids</name>
		<value>rm1,rm2</value>
		</property>
		
		<!--配置rm1的主机-->
		<property>
		<name>yarn.resourcemanager.hostname-rm1</name>
		<value>hadoop01</value>
		</property>
		
		<!--配置rm2的主机-->
		<property>
		<name>yarn.resourcemanager.hostname-rm2</name>
		<value>hadoop03</value>
		</property>
		
		<!--执行rm恢复机制实现类-->
		<property>
		<name>yarn.resourcemanager.store.class</name>
		<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
		</property>
		
		<!--配置Zookeeper的地址-->
		<property>
		<name>yarn.resourcemanager.zk-address</name>
		<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
		</property>
		
		<!--给yarn集群起个别名-->
		<property>
		<name>yarn.resoucemanager.cluster-id</name>
		<value>ns-yarn</value>
		</property>
		
		<!--指定nodemanager启动时加载server的方式为shuffle server-->
		<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
		</property>
		
		<!--指定resourcemanager地址-->
		<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop03</value>
		</property>
		
		</configuration>

2.1.6 vim slaves

hadoop01
hadoop02
hadoop03

3.启动阶段：

1. 在三台服务器中启动zk：
		zkServer.sh start
		2. 在zk的leader节点上执行格式化命令
		hdfs zkfc -formatZK
		3. 在三台服务器上启动journalnode
		hadoop-daemon.sh start journalnode
		4. 在第一台节点上格式化NameNode
		hadoop namenode -format
		5. 在第一台节点上启动NameNode
		hadoop-daemon.sh start namenode
		6. 在第二台节点上格式化NameNode
		hdfs namenode -bootstrapStandby
		7. 在第二台节点上启动NameNode
		hadoop-daemon.sh start namenode
		8. 在三台服务器上启动DataNode。
		hadoop-daemon.sh start datanode
		9. 在第一和第二台节点上，启动zkfc
		hadoop-daemon.sh start zkfc
		10. 在第一台节点上启动yarn：
		start-yarn.sh
		11. 在第三台节点上启动ResourceManager
		yarn-daemon.sh start resourcemanager