HA高可用

基础配置

1、进入目录
cd /opt
2、创建ha目录
sudo mkdir ha
3、修改权限
sudo chown 用户:组/opt/ha
4、修改hdfs-site.xml core-site.xml
5、分发配置
6、修改环境变量，添加JAVA_HOME，HADOOP_HOME，
sudo vim /etc/profile.d/my_env.sh

HA手动模式

1、格式化集群hdfs
hdfs namenode -format
2、启动一台NameNode
hdfs --daemon start namenode
3、同步nn1的元数据信息
hdfs namenode -bootstrapStandby
4、启动nn2，nn3
hdfs --daemon start namenode
5、启动datanode
hdfs --daemon start datanode
6、选择一个节点设为Active
hdfs haadmin -transitionToActive nn1
7、查看是否设置为Active
hdfs haadmin -getServiceState nn1
或者去网页查看，主机名:9870

HA自动模式

1、修改hdfs-site.xml

<configuration>
<!-- NameNode 数据存储目录 -->
     <property>
         <name>dfs.namenode.name.dir</name>
         <value>file://${hadoop.tmp.dir}/name</value>
     </property>
<!-- DataNode 数据存储目录 -->
     <property>
         <name>dfs.datanode.data.dir</name>
         <value>file://${hadoop.tmp.dir}/data</value>
     </property>
<!-- JournalNode 数据存储目录 -->
     <property>
         <name>dfs.journalnode.edits.dir</name>
         <value>${hadoop.tmp.dir}/jn</value>
     </property>
<!-- 完全分布式集群名称 -->
     <property>
         <name>dfs.nameservices</name>
         <value>mycluster</value>
     </property>
<!-- 集群中 NameNode 节点都有哪些 -->
     <property>
         <name>dfs.ha.namenodes.mycluster</name>
         <value>nn1,nn2,nn3</value>
     </property>
<!-- NameNode 的 RPC 通信地址 -->
     <property>
         <name>dfs.namenode.rpc-address.mycluster.nn1</name>
         <value>hadoop102:8020</value>
     </property>
     <property>
         <name>dfs.namenode.rpc-address.mycluster.nn2</name>
         <value>hadoop103:8020</value>
     </property>
     <property>
         <name>dfs.namenode.rpc-address.mycluster.nn3</name>
         <value>hadoop104:8020</value>
     </property>
<!-- NameNode 的 http 通信地址 -->
     <property>
         <name>dfs.namenode.http-address.mycluster.nn1</name>
         <value>hadoop102:9870</value>
     </property>
     <property>
         <name>dfs.namenode.http-address.mycluster.nn2</name>
         <value>hadoop103:9870</value>
     </property>
     <property>
         <name>dfs.namenode.http-address.mycluster.nn3</name>
         <value>hadoop104:9870</value>
     </property>
    <!-- 指定 NameNode 元数据在 JournalNode 上的存放位置 -->
     <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
     </property>
    <!-- 访问代理类：client 用于确定哪个 NameNode 为 Active -->
     <property>
         <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
     </property>
    <!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
     <property>
         <name>dfs.ha.fencing.methods</name>
         <value>sshfence</value>
     </property>
    <!-- 使用隔离机制时需要 ssh 秘钥登录-->
     <property>
         <name>dfs.ha.fencing.ssh.private-key-files</name>
         <value>/home/用户/.ssh/id_rsa</value>
     </property>

     
     <!-- 启用 nn 故障自动转移 -->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>用户</value>
    </property>
</configuration>

2、修改core-site.xml

<configuration>
<!-- 把多个 NameNode 的地址组装成一个集群 mycluster -->
   <property>
     <name>fs.defaultFS</name>
     <value>hdfs://mycluster</value>
   </property>
<!-- 指定 hadoop 运行时产生文件的存储目录 -->
   <property>
     <name>hadoop.tmp.dir</name>
     <value>/opt/ha/hadoop-3.1.3/data</value>
   </property>

   
   <!-- 指定 zkfc 要连接的 zkServer 地址 -->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
    </property>
</configuration>

3、修改完成后分发配置文件
4、关闭hdfs
stop-dfs.sh
5、启动zookeeper集群
bin/zkServer.sh start
6、启动zk后，初始化HA在zookeeper中的状态
hdfs zkfc -formatZK
7、启动hdfs服务
start-dfs.sh

YARN-HA

1、配置yarn-site.xml

     <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
     </property>
     <!-- 启用 resourcemanager ha -->
     <property>
         <name>yarn.resourcemanager.ha.enabled</name>
         <value>true</value>
     </property>
     <!-- 声明resourcemanager 的地址 -->
     <property>
         <name>yarn.resourcemanager.cluster-id</name>
         <value>cluster-yarn1</value>
     </property>
     <!--指定 resourcemanager 的逻辑列表-->
     <property>
         <name>yarn.resourcemanager.ha.rm-ids</name>
         <value>rm1,rm2,rm3</value>
    </property>
    <!-- ========== rm1 的配置 ========== -->
    <!-- 指定 rm1 的主机名 -->
     <property>
         <name>yarn.resourcemanager.hostname.rm1</name>
         <value>hadoop102</value>
    </property>
    <!-- 指定 rm1 的 web 端地址 -->
    <property>
         <name>yarn.resourcemanager.webapp.address.rm1</name>
         <value>hadoop102:8088</value>
    </property>
    <!-- 指定 rm1 的内部通信地址 -->
    <property>
         <name>yarn.resourcemanager.address.rm1</name>
         <value>hadoop102:8032</value>
    </property>
    <!-- 指定 AM 向 rm1 申请资源的地址 -->
    <property>
         <name>yarn.resourcemanager.scheduler.address.rm1</name> 
         <value>hadoop102:8030</value>
    </property>
    <!-- 指定供 NM 连接的地址 --> 
    <property>
         <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
         <value>hadoop102:8031</value>
    </property>
    <!-- ========== rm2 的配置 ========== -->
     <!-- 指定 rm2 的主机名 -->
     <property>
         <name>yarn.resourcemanager.hostname.rm2</name>
         <value>hadoop103</value>
    </property>
    <property>
         <name>yarn.resourcemanager.webapp.address.rm2</name>
         <value>hadoop103:8088</value>
    </property>
    <property>
         <name>yarn.resourcemanager.address.rm2</name>
         <value>hadoop103:8032</value>
    </property>
    <property>
         <name>yarn.resourcemanager.scheduler.address.rm2</name>
         <value>hadoop103:8030</value>
    </property>
    <property>
         <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
         <value>hadoop103:8031</value>
    </property>
    <!-- ========== rm3 的配置 ========== -->
    <!-- 指定 rm1 的主机名 -->
     <property>
         <name>yarn.resourcemanager.hostname.rm3</name>
         <value>hadoop104</value>
    </property>
    <!-- 指定 rm1 的 web 端地址 -->
    <property>
         <name>yarn.resourcemanager.webapp.address.rm3</name>
         <value>hadoop104:8088</value>
    </property>
    <!-- 指定 rm1 的内部通信地址 -->
    <property>
         <name>yarn.resourcemanager.address.rm3</name>
         <value>hadoop104:8032</value>
    </property>
    <!-- 指定 AM 向 rm1 申请资源的地址 -->
    <property>
         <name>yarn.resourcemanager.scheduler.address.rm3</name> 
         <value>hadoop104:8030</value>
    </property>
    <!-- 指定供 NM 连接的地址 --> 
    <property>
         <name>yarn.resourcemanager.resource-tracker.address.rm3</name>
         <value>hadoop104:8031</value>
    </property>
     <!-- 指定 zookeeper 集群的地址 --> 
     <property>
         <name>yarn.resourcemanager.zk-address</name>
         <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
     </property>
     <!-- 启用自动恢复 --> 
     <property>
         <name>yarn.resourcemanager.recovery.enabled</name>
         <value>true</value>
     </property>
     <!-- 指定 resourcemanager 的状态信息存储在 zookeeper 集群 --> 
     <property>
         <name>yarn.resourcemanager.store.class</name> 
         <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
    <!-- 环境变量的继承 -->
    <property>
         <name>yarn.nodemanager.env-whitelist</name>     
         <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
     </property>
     <!-- 开启日志聚集功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <!-- 设置日志聚集服务器地址 -->
    <property>
        <name>yarn.log.server.url</name>
        <value>http://hadoop102:19888/jobhistory/logs</value>
    </property>
    <!-- 设置日志保留时间为7天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>

<!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

2、分发配置文件
3、启动yarn
start-yarn.sh

HA高可用配置完毕

配置文件可以添加一些自己需要的参数