HDFS2.X的HA+Resourcemanager的HA

21.


           NN     DN     JN    ZK    ZKFC   RS   NM（NodeManager）
node1   1                           1       1
node2   1     1        1         1       1                    1
node3          1        1         1                    1        1
node4          1        1                               1        1


HDFS2.x的HA+Yarn的HA的配置文件和 ResourceManager+HA 内容整理（简单版）！
   core-site.xml文件：
     
        <configuration>
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://sxt</value>
            </property>
            <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoop</value>
            </property>
             <property>
               <name>ha.zookeeper.quorum</name>
               <value>node1:2181,node2:2181,node3:2181</value>
             </property>
        </configuration>
        
        
    hdfs-site.xml文件：
            <configuration>
                <property>
                  <name>dfs.nameservices</name>
                  <value>sxt</value>
                </property>
                <property>
                  <name>dfs.ha.namenodes.sxt</name>
                  <value>nn1,nn2</value>
                </property>
                <property>
                  <name>dfs.namenode.rpc-address.sxt.nn1</name>
                  <value>node1:8020</value>
                </property>
                <property>
                  <name>dfs.namenode.rpc-address.sxt.nn2</name>
                  <value>node2:8020</value>
                </property>
                <property>
                  <name>dfs.namenode.http-address.sxt.nn1</name>
                  <value>node1:50070</value>
                </property>
                <property>
                  <name>dfs.namenode.http-address.sxt.nn2</name>
                  <value>node2:50070</value>
                </property>
                <property>
                  <name>dfs.namenode.shared.edits.dir</name>
                  <value>qjournal://node2:8485;node3:8485;node4:8485/sxt</value>
                </property>
                <property>
                  <name>dfs.client.failover.proxy.provider.sxt</name>
                  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
                </property>
                <property>
                  <name>dfs.ha.fencing.methods</name>
                  <value>sshfence</value>
                </property>
                <property>
                  <name>dfs.ha.fencing.ssh.private-key-files</name>
                  <value>/root/.ssh/id_dsa</value>
                </property>
                <property>
                  <name>dfs.journalnode.edits.dir</name>
                  <value>/opt/journal/data</value>
                </property>
                 <property>
                   <name>dfs.ha.automatic-failover.enabled</name>
                   <value>true</value>
                 </property>
            </configuration>
            
    mapred-site.xml文件：
    
          <configuration>
            <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
            </property>
          </configuration>
          
   slaves文件：
        node2
        node3
        node4
        
    yarn-site.xml文件：
            <configuration>
                 <property>
                        <name>yarn.nodemanager.aux-services</name>
                        <value>mapreduce_shuffle</value>
                 </property>
                 <property>
                   <name>yarn.resourcemanager.ha.enabled</name>
                   <value>true</value>
                 </property>
                 <property>
                   <name>yarn.resourcemanager.cluster-id</name>
                   <value>sxt2yarn</value>
                 </property>
                 <property>
                   <name>yarn.resourcemanager.ha.rm-ids</name>
                   <value>rm1,rm2</value>
                 </property>
                 <property>
                   <name>yarn.resourcemanager.hostname.rm1</name>
                   <value>node3</value>
                 </property>
                 <property>
                   <name>yarn.resourcemanager.hostname.rm2</name>
                   <value>node4</value>
                 </property>
                 <property>
                   <name>yarn.resourcemanager.zk-address</name>
                   <value>node1:2181,node2:2181,node3:2181</value>
                 </property>
         </configuration>