Hadoop学习笔记（二）——四节点搭建Hadoop HA（高可用）集群模式

准备工作：
四个节点间的ssh互通，（至少两个NN节点和其他节点ssh互通）；
JDK 1.7+，环境变量配置，各节点保持一致；
/etc/hosts 节点名映射，各节点保持一致；
保证各组件版本间兼容性，推荐使用cdh的jar包

datas : 当做所有软件的安装目录

jars:当做提交jar包的目录。 文本数据目录；

software：软件包目录

workdata: 软件包的数据存放目录

一、关闭防火墙 （永久关闭）
chkconfig iptables off
chkconfig iptables on

二、解压Hadoop包，到datas目录
三、修改配置文件

1）JAVA环境变量的一些配置（有些是可有可无的）

2）hdfs-site.xml

 <!--指定hdfs的nameservice为st，需要和core-site.xml中的保持一致 --> 
	 <property> 
		<name>dfs.nameservices</name> .
		<value>st</value> 
	</property> 
<!--bi下面有两个NameNode，分别是nn1，nn2,这儿的nn1，nn2也是逻辑名字，可以自己指定，但是指定后下面的也要随之改变--> 
	<property> 
		<name>dfs.ha.namenodes.st</name> 
		<value>nn1,nn2</value> 
	</property>
 <!-- nn1的RPC通信地址 --> 
 <property> 
 <name>dfs.namenode.rpc-address.st.nn1</name>
 <value>node1:9000</value> 
 </property> 
 <!-- nn1的http通信地址 --> 
 <property> 
 <name>dfs.namenode.http-address.st.nn1</name>
 <value>node1:50070</value> 
 </property> 
 <!-- nn2的RPC通信地址 --> 
 <property> 
 <name>dfs.namenode.rpc-address.st.nn2</name>
 <value>node2:9000</value>
 </property> 
 <!-- nn2的http通信地址 --> 
 <property> 
 <name>dfs.namenode.http-address.st.nn2</name> 
 <value>node2:50070</value> 
 </property>
 <!-- 指定NameNode的edits元数据在JournalNode上的存放位置 --> 
 <property> 
 <name>dfs.namenode.shared.edits.dir</name> 
 <value>qjournal://node2:8485;node3:8485;node4:8485/st</value> 
 </property> 
 <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
 <property> 
 <name>dfs.journalnode.edits.dir</name> 
 <value>/root/journaData</value> 
 </property>
 <!-- 开启NameNode失败自动切换 --> 
 <property> 
 <name>dfs.ha.automatic-failover.enabled</name>
 <value>true</value> 
 </property> 
 <!-- 配置失败自动切换实现方式 --> 
 <property> 
 <name>dfs.client.failover.proxy.provider.st</name>
 <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> 
 </property> 
 <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
 <property>
 <name>dfs.ha.fencing.methods</name>
 <value>sshfence 
 shell(/bin/true)</value> 
 </property>
 <!-- 使用sshfence隔离机制时需要ssh免登陆 --> 
 <property>
 <name>dfs.ha.fencing.ssh.private-key-files</name> 
 <value>/root/.ssh/id_dsa</value> 
 </property>
 <!-- 配置sshfence隔离机制超时时间 -->
 <property> 
 <name>dfs.ha.fencing.ssh.connect-timeout</name> 
 <value>30000</value> 
 </property>
 

3)mapred-site.xml

	<!-- 指定mr框架为yarn方式 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

4)core-site.xml

<!-- 这儿的st表示两个namenode组建成的逻辑名字 --> 
<property>
 <name>fs.defaultFS</name> 
 <value>hdfs://st/</value> 
 </property>
 <!-- 指定hadoop临时目录 -->
 <property>
 <name>hadoop.tmp.dir</name> 
 <value>/root/hadoopdata</value>
 </property>
 <!-- 指定zookeeper地址 --> 
 <property> 
 <name>ha.zookeeper.quorum</name>
 <value>node1:2181,node2:2181,node3:2181</value> 
 </property>

5）yarn-site.xml

<!-- 开启RM高可用 -->
 <property> 
	 <name>yarn.resourcemanager.ha.enabled</name> 
	 <value>true</value> 
 </property> 
 <!-- 指定RM的cluster id -->
 <property> 
	 <name>yarn.resourcemanager.cluster-id</name>
	 <value>yrc</value> </property>
 <!-- 指定RM的名字 --> 
 <property>
	 <name>yarn.resourcemanager.ha.rm-ids</name>
	 <value>rm1,rm2</value>
 </property>
 <!-- 分别指定RM的地址 -->
 <property> 
	 <name>yarn.resourcemanager.hostname.rm1</name> 
	 <value>node1</value>
 </property>
 <property>
	 <name>yarn.resourcemanager.hostname.rm2</name>
	 <value>node2</value>
 </property>
 <!-- 指定zookeeper集群地址 --> 
 <property> 
	 <name>yarn.resourcemanager.zk-address</name>
	 <value>node1:2181,node2:2181,node3:2181</value>
 </property>
 <property>
	 <name>yarn.nodemanager.aux-services</name>
	 <value>mapreduce_shuffle</value> 
 </property>
 <!--配置RM 启动后自动恢复状态 -->
 <property>
	 <name>yarn.resourcemanager.recovery.enabled</name>
	 <value>true</value> 
 </property>
  <!--指定应该通过什么方式存储 -->
 <property>
	 <name>yarn.resourcemanager.store.class</name>
	 <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value> 
 </property>
 
  <property>
	 <name>yarn.log-aggregation-enable</name>
	 <value>true</value> 
 </property>
 
   <property>
	 <name>yarn.log-aggregation.retain-seconds</name>
	 <value>108600</value> 
 </property>
 

四、配置文件分发

scp /usr/cdh/datas/hadoop-2.5.0/etc/hadoop/* root@node2:/usr/cdh/datas/hadoop-2.5.0/etc/hadoop

scp /usr/cdh/datas/hadoop-2.5.0/etc/hadoop/* root@node3:/usr/cdh/datas/hadoop-2.5.0/etc/hadoop

scp /usr/cdh/datas/hadoop-2.5.0/etc/hadoop/* root@node4:/usr/cdh/datas/hadoop-2.5.0/etc/hadoop

五、zookeeper集群配置并启动(之前的博客写过，这里梳理下步骤)

1）解压
2）配置zoo.cfg
3）创建myid文件
4)启动
5）检验 jps bin/zkServer.sh status 用zkCli.sh检验数据

六、Hadoop启动前初始化：
1）在各个JournalNode节点下，输入命令启动journalnode服务：
sbin/hadoop-daemon.sh start journalnode

2) 在第一个NN节点，格式化源文件；成功后启动。
sbin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode

3)去第二个NN节点，同步第一个NN节点的源数据文件；
bin/hdfs namenode -bootstrapStandby

成功后，关闭所有的节点任务。重新启动JN，然后是NN，
ps: 主备切换命令： bin/hdfs haadmin -transitionToActive nn1（nn2）

4）在active节点的NN上，启动所有DN
sbin/hadoop-daemon.sh start datanode
-----------------以后可以直接用一条命令启动hdfs ----------------------------------------------

手动杀掉NN1的进程，实验主动切换是否生效：

完成了自动故障转移，切换了NN的active节点。手动恢复后的NN，已经变成了备用节点了

---------------------------------------------------------------------------------------------------
5）HA yarn启动前的准备工作
          a、关闭HDFS的所有服务（比较烦，没办法）cmd: sbin/stop-dfs.sh
          b、初始化HA 在zookeeper上的状态 cmd: bin/hdfs zkfc -formatZK

        

        c、启动所有的hdfs，可以用start-dfs.sh脚本启动（它会自动启动zkfc）
        d、如果是组个启动的话，哪台集群的zkfc先启动，就会是active的NN，这个zookeeper的选举机制有关
        e、启动yarn cmd：sbin/start-yarn.sh

      

(内容直接从我笔记里粘出来的，在这里不太好编辑，我把原笔记上传到资源里。如果博客看到不太舒服，可以去下载看)

资源下载:https://download.csdn.net/download/qq_38872310/10776666