Hadoop 机架感知

假如有一台namenode主节点，四台DataNode节点，分别存在于两个机架

s202--192.168.231.202        /rack1/202
s203--192.168.231.203        /rack1/203
s204--192.168.231.204        /rack2/204
s205--192.168.231.205        /rack2/205

1.自定义实现类：

package com.mao.hdfs.rackaware;

import org.apache.hadoop.net.DNSToSwitchMapping;

import java.io.FileWriter;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

public class Myrackaware implements DNSToSwitchMapping {

    public List<String> resolve(List<String> names) {
        List<String> list =  new ArrayList<String>();

        try {
            FileWriter fw = new FileWriter("/home/admin/rackaware.txt",true);
            for (String str :names){
                //输出原来的信息，ip地址（主机名）
                fw.write(str+"\r\n");
                //判断是否是192开始的
                if (str.startsWith("192")){
                    //192.168.31.202
                    String ip = str.substring(str.lastIndexOf(".")+1);
                    if (Integer.parseInt(ip)<=203){
                        list.add("/rack1/"+ip);
                    }else {
                        list.add("/rack2/"+ip);
                    }
                }else if (str.startsWith("s")){
                    String ip = str.substring(1);
                    if (Integer.parseInt(ip)<=203){
                        list.add("/rack1/"+ip);
                    }else {
                        list.add("/rack2/"+ip);
                    }
                }
            }
            fw.close();
        } catch (IOException e) {
            e.printStackTrace();
        }

        return list;
    }


    public void reloadCachedMappings() {

    }


    public void reloadCachedMappings(List<String> names) {

    }

}

2.配置core-site.xml
      

  <?xml version="1.0" encoding="UTF-8"?>
        <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
        <configuration>
                <property>
                        <name>fs.defaultFS</name>
                        <value>hdfs://192.168.231.201/</value>
                </property>
                <property>
                        <name>hadoop.tmp.dir</name>
                        <value>/home/centos/hadoop</value>
                </property>
                <property>
                        <name>topology.node.switch.mapping.impl</name>
                        <value>com.mao.hdfs.rackaware.Myrackaware</value>
                </property>
        </configuration>

    3.导出jar包
    
    4.复制jar到/soft/hadoop/shared/hadoop/common/lib
        
    5.分发jar.(可以不做)
        实际上不需要分发，只在名称节点上运行。

    6.重启名称节点 

$>hadoop-daemon.sh stop namenode
$>hadoop-daemon.sh start namenode

手动移动数据节点下的块数据到另一个机架下的数据节点后，需重启名称节点，在webUI才会看到移动生效。

数据节点数据存放目录：（/home/centos/hadoop/ ： 自己设置的数据存放位置）

/home/centos/hadoop/dfs/data/current/BP-2100834435-192.168.231.201-1489328949370/current/finalized/subdir0/subdir0

注：

fault tolerance： 容错

fail over          ： 容灾

master / slave：   主(master,namenode)从(slave,datanode)结构.

可靠性 ：    提供数据安全的能力。

可用性：    提供持续服务的能力。

默认的副本放置策略：
    首选在本地机架的一个node存放副本,另一个副本在本地机架的另一个不同节点。
    最后一个副本在不同机架的不同节点上。