配置机架感知

为了达到hadoop的最佳性能，配置hadoop系统让其了解网络拓扑状况很关键。机架感知是一种优化hadoop集群的方式，使hdfs能更加智能的放置副本(replica),以取得性能和弹性的平衡。

hadoop默认的副本放置策略： 首选在本地机架的一个node存放副本,另一个副本在本地机架的另一个不同节点。最后一个副本在不同机架的不同节点上

如下是自定义机架感知的基本步骤：

1. 自定义实现类(实现 DNSToSwitchMapping 接口)

/**
 * 机架感知类
 *
 */
public class MyRackAware implements DNSToSwitchMapping {

    @Override
    public List<String> resolve(List<String> names) {

        List<String> list = new ArrayList<>();
        for (String str : names) {
            //输出原来的信息，ip地址(主机名)
            System.out.println(str);
            if (str.startsWith("192")) {
                //192.168.32.201 ...
                String ip = str.substring(str.lastIndexOf("."));
                if (Integer.parseInt(ip) <= 203) {
                    list.add("/rack1/" + ip);
                } else {
                    list.add("/rack2/" + ip);
                }

            } else if (str.startsWith("s")) {
                String ip = str.substring(str.lastIndexOf("."));
                if (Integer.parseInt(ip) <= 203) {
                    list.add("/rack1/" + ip);
                } else {
                    list.add("/rack2/" + ip);
                }
            }
        }

        return list;
    }

    @Override
    public void reloadCachedMappings() {

    }

    @Override
    public void reloadCachedMappings(List<String> names) {

    }
}

2. 配置 core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
			<name>fs.defaultFS</name>
			<value>hdfs://192.168.231.201/</value>
	</property>
	<property>
			<name>hadoop.tmp.dir</name>
			<value>/home/centos/hadoop</value>
	</property>
	<property>
			<name>topology.node.switch.mapping.impl</name>
			<value>com.yuangh.hadoop.rackware.MyRackAware</value>
	</property>
</configuration>

3. 导出jar包，复制jar到/soft/hadoop/shared/hadoop/common/lib目录下，并分发给每台主机。

4. 重启名称节点

$>hadoop-daemon.sh stop namenode
$>hadoop-daemon.sh start namenode