Hadoop高可用集群搭建（接完全分布式）

在完全分布式基础上继续配置，hadoop集群完全分布式搭建连接： https://blog.csdn.net/weixin_42487460/article/details/107169638

配置 HDFS-HA 集群

配置core-site.xml

<configuration>
<!-- 指定HDFS中NameNode的地址 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://mycluster</value>
	</property>

 <!-- 指定hadoop运行时产生文件的存储目录 -->
	 <property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/soft/hadoop260/data/tmp</value>
	 </property>
	 
	 <property>
       <name>ha.zookeeper.quorum</name>
       <value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
	 </property>
	 <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
	 </property>
	 <property>
	      <name>hadoop.proxyuser.root.groups</name>
	      <value>*</value>
	 </property>
</configuration>

配置hdfs-site.xml

<configuration>
<!-- 完全分布式集群名称 -->
	<property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
	</property>

<!-- 集群中 NameNode 节点都有哪些,这里是 nn1 和 nn2-->
	<property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2</value>
	</property>

<!-- nn1 的 RPC 通信地址 -->
	<property>
        <name>dfs.namenode.rpc-address.mycluster.nn1</name>
        <value>hadoop1:9000</value>
	</property>

<!-- nn2 的 RPC 通信地址 -->
	<property>
	    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
	    <value>hadoop2:9000</value>
	</property>

<!-- nn1 的 http 通信地址 -->
	<property>
	    <name>dfs.namenode.http-address.mycluster.nn1</name>
	    <value>hadoop1:50070</value>
	</property>

<!-- nn2 的 http 通信地址 -->
	<property>
	     <name>dfs.namenode.http-address.mycluster.nn2</name>
	     <value>hadoop2:50070</value>
	</property>

<!-- 指定 NameNode 元数据在 JournalNode 上的存放位置 -->
	<property>
	    <name>dfs.namenode.shared.edits.dir</name>
	    <value>qjournal://hadoop1:8485;hadoop2:8485;hadoop3:8485/mycluster</value>
	</property>

<!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
	<property>
        <name>dfs.ha.fencing.methods</name>
        <value>
        sshfence
        shell(/bin/true)
        </value>
	</property>

<!-- 使用隔离机制时需要 ssh 无秘钥登录-->
	<property>
	     <name>dfs.ha.fencing.ssh.private-key-files</name>
	     <value>/root/.ssh/id_rsa</value>
	</property>

<!-- 声明 journalnode 服务器存储目录-->
	<property>
	     <name>dfs.journalnode.edits.dir</name>
	     <value>/opt/soft/hadoop260/data/jn</value>
	</property>

<!-- 关闭权限检查-->
	<property>
	      <name>dfs.permissions.enable</name>
	      <value>false</value>
	</property>

<!-- 访问代理类：client，mycluster，active 配置失败自动切换实现方式-->
	<property>
	      <name>dfs.client.failover.proxy.provider.mycluster</name>
	      <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailover ProxyProvider</value>
	</property>
	<property>
		  <name>dfs.replication</name>
		  <value>3</value>
	</property>
	<property>
		 <name>dfs.namenode.secondary.http-address</name>
		 <value>hadoop3:50090</value>
	</property>
	<property>
	     <name>dfs.ha.automatic-failover.enabled</name>
	     <value>true</value>
	</property>
</configuration>

启动 HDFS-HA 集群

1. 在各个 JournalNode 节点上，输入以下命令启动 journalnode 服务：
   hadoop-daemon.sh start journalnode

2. 在[nn1]上,即hadoop1上，对其进行格式化，并启动
   hdfs namenode-format
hadoop-daemon.sh start namenode

3. 在[nn2]上，即hadoop2上，同步 nn1 的元数据信息
   hdfs namenode -bootstrapStandby

4. 启动[nn2]
   hadoop-daemon.sh start namenode

5. 查看web页面显示，此时为两个Standby页面

6. 在[nn1]上，启动所有 datanode
   hadoop-daemons.sh start datanode

7. 将[nn1]切换为 Active
   hdfs haadmin -transitionToActive nn1

8. 网页检查是否为Active

配置 HDFS-HA 自动故障转移

1. 关闭所有HDFS服务
   stop-dfs.sh
2. 启动Zookeeper集群
   zkServer.shstart
3. 初始化HA在Zookeeper中状态
   hdfs zkfc -formatZK
4. 启动HDFS服务
   start-dfs.sh
5. 在各个 NameNode 节点上启动 DFSZKFailoverController，先在哪台机器 启动，哪个机器的 NameNode 就是 ActiveNameNode
   hadoop-daemon.sh start zkfc
6. 验证
   将 ActiveNameNode 进程 kill
   kill-9namenode 的进程 id ，hadoop2变为Active NameNode
   

YARN-HA配置

配置yarn-site.xml

<configuration>
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

<!--启用 resourcemanagerha-->
<property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
</property>

<!--声明两台 resourcemanager 的地址-->
<property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>cluster-yarn1</value>
</property>

<property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
</property>
<property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>hadoop1</value>
</property>
<property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>hadoop2</value>
</property>

<!--指定 zookeeper 集群的地址-->
<property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
</property>

<!--启用自动恢复-->
<property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
</property>
<!--指定 resourcemanager 的状态信息存储在 zookeeper 集群-->
<property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
</configuration>

启动yarn

start-yarn.sh

 
 
所有配置完成，启动jps进程如下