Hadoop高可用集群搭建(实操、干货)

Hadoop
一、HDFS-HA 集群配置
1.1 配置 HDFS-HA 集群
1.官方地址：http://hadoop.apache.org/
2.HDFS 高可用集群规划，请保证 Hadoop 完全分布式和 ZooKeeper 完全分布 式环境已经安装完成。

hadoop102 			hadoop103

JournalNode		 JournalNode 

3.在 hadoop102 配置 core-site.xml

<configuration> 
    <!-- 把两个 NameNode）的地址组装成一个集群 mycluster --> 
    <property> 
        <name>fs.defaultFS</name> 
        <value>hdfs://mycluster</value> 
    </property> 
    <!-- 指定 hadoop 运行时产生文件的存储目录 --> 
    <property> 
        <name>hadoop.tmp.dir</name> 
        <value>/opt/install/hadoop/data/tmp</value> 
    </property>
</configuration> 

4.在 hadoop102 配置 hdfs-site.xml

<configuration>
    <!-- 完全分布式集群名称 -->
    <property> 
        <name>dfs.nameservices</name> 
        <value>mycluster</value>
    </property> 
    <!-- 集群中 NameNode 节点都有哪些,这里是 nn1 和 nn2 -->
    <property> 
        <name>dfs.ha.namenodes.mycluster</name> 
        <value>nn1,nn2</value>
    </property> 
    <!-- nn1 的 RPC 通信地址 -->
    <property> 
        
        <name>dfs.namenode.rpcaddress.mycluster.nn1</name> 							
        <value>hadoop102:9000</value>
    </property> 
    <!-- nn2 的 RPC 通信地址 -->
    <property> 
        <name>dfs.namenode.rpcaddress.mycluster.nn2</name> 							
        <value>hadoop103:9000</value> 
    </property> 
    <!-- nn1 的 http 通信地址 --> 
    <property> 
        <name>dfs.namenode.httpaddress.mycluster.nn1</name> 							
        <value>hadoop102:50070</value> 
    </property> 
    <!-- nn2 的 http 通信地址 -->
    <property> 
        <name>dfs.namenode.httpaddress.mycluster.nn2</name> 							
        <value>hadoop103:50070</value> 
    </property> 
    <!-- 指定 NameNode 元数据在 JournalNode 上的存放位置 -->
    <property> 
        <name>dfs.namenode.shared.edits.dir</name> 										
        <value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/my cluster</value>
    </property>
    <!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应，严格执行此格式 -->
    <property> 
        <name>dfs.ha.fencing.methods</name>
        <value>
        sshfence
        shell(/bin/true)
        </value>
    </property>
    <!-- 使用隔离机制时需要 ssh 无秘钥登录，--> 
    <property> 
        <name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/home/hadoop/.ssh/id_rsa</value>
    </property> 
    <!-- 声明 journalnode 服务器存储目录--> 
    <property> 
        <name>dfs.journalnode.edits.dir</name> 											
        <value>/opt/install/hadoop/data/jn</value>
    </property>
    <!-- 关闭权限检查-->
    <property>
        <name>dfs.permissions.enable</name>
        <value>false</value> 
    </property>
    <!-- 访问代理类：client，mycluster，active 配置失败自动切换实现方 式-->
    <property> 
        <name>dfs.client.failover.proxy.provider.mycluster</name> 						
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailover ProxyProvider</value>
    </property>
</configuration>
        

5.拷贝配置好的 hadoop 环境到其他节点。

1.2 启动 HDFS-HA 集群

1.在各个 JournalNode 节点上，输入以下命令启动 journalnode 服务： 																											
	$HADOOP_HOME/sbin/hadoop-daemon.sh start journalnode 
2.在[nn1]上，对其进行格式化，并启动： 
	$HADOOP_HOME/bin/hdfs namenode -format 
	$HADOOP_HOME/sbin/hadoop-daemon.sh start namenode 
3.在[nn2]上，同步 nn1 的元数据信息： 
	$HADOOP_HOME/bin/hdfs namenode -bootstrapStandby 
4.启动[nn2]： 					
	$HADOOP_HOME/sbin/hadoop-daemon.sh start namenode 
5.查看 web 页面显示

6.在[nn1]上，启动所有 datanode 
	$HADOOP_HOME/sbin/hadoop-daemons.sh start datanode
7.将[nn1]切换为 Active 
	$HADOOP_HOME/bin/hdfs haadmin -transitionToActive nn1
8.查看是否 Active 
	$HADOOP_HOME/bin/hdfs haadmin -getServiceState nn1

1.3 配置 HDFS-HA 自动故障转移

1.具体配置
（1）在 hdfs-site.xml 中增加

<property> 
    <name>dfs.ha.automatic-failover.enabled</name> 
    <value>true</value>
</property> 

（2）在 core-site.xml 文件中增加

<property>
    <name>ha.zookeeper.quorum</name> 												
    <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value> 
</property>

2.启动

（1）关闭所有 HDFS 服务：
 	$HADOOP_HOME/sbin/stop-dfs.sh 
（2）启动 Zookeeper 集群:
	$HADOOP_HOME/bin/zkServer.sh start 
（3）初始化 HA 在 Zookeeper 中状态：
	$HADOOP_HOME/bin/hdfs zkfc -formatZK 
（4）启动 HDFS 服务：
	$HADOOP_HOME/sbin/start-dfs.sh 
（5）在各个 NameNode 节点上启动 DFSZK Failover Controller，先在哪台机器 启动，哪个机器的 NameNode 就是 Active NameNode 
  	$HADOOP_HOME/sbin/hadoop-daemon.sh start zkfc 

3.验证

（1）将 Active NameNode 进程 kill kill -9 namenode 的进程 id 
（2）将 Active NameNode 机器断开网络 service network stop

**二、YARN-HA 配置

2.1 配置 YARN-HA 集群
1.规划集群

hadoop102 					hadoop103 

ResourceManager 		ResourceManager\

2.具体配置
（1）yarn-site.xml

<configuration> 
   <property>
       <name>yarn.nodemanager.aux-services</name> 
       <value>mapreduce_shuffle</value>
   </property>
   <!--启用 resourcemanager ha-->
   <property>
       <name>yarn.resourcemanager.ha.enabled</name>
       <value>true</value>
   </property> 
   <!--声明两台 resourcemanager 的地址--> 
   <property>
       <name>yarn.resourcemanager.cluster-id</name>
       <value>cluster-yarn1</value>
   </property> 
   <property>
       <name>yarn.resourcemanager.ha.rm-ids</name> 
       <value>rm1,rm2</value>
   </property> 
   <property>
       <name>yarn.resourcemanager.hostname.rm1</name> 
       <value>hadoop102</value>
   </property>
   <property> 
       <name>yarn.resourcemanager.hostname.rm2</name> 
       <value>hadoop103</value>
   </property>
   <!--指定 zookeeper 集群的地址--> 
   <property>
       <name>yarn.resourcemanager.zk-address</name> 		                			
       <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
   </property>
   <!--启用自动恢复--> 
   <property>
       <name>yarn.resourcemanager.recovery.enabled</name> 
       <value>true</value>
   </property>
   <!--指定 resourcemanager 的状态信息存储在 zookeeper 集群-->
   <property>
       <name>yarn.resourcemanager.store.class</name> 																							
       <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value> 
	</property>
</configuration> 

（2）同步更新其他节点的 yarn-site.xml 配置信息

3.启动 yarn

（1）在 hadoop102 中执行： 
	$HADOOP_HOME/sbin/start-yarn.sh 
（2）在 hadoop103 中执行： 
	$HADOOP_HOME/sbin/yarn-daemon.sh start resourcemanager
（3）查看服务状态 
	$HADOOP_HOME/bin/yarn rmadmin -getServiceState rm1