HDFS网络拓扑概念和机架感知(副本节点的选择)以及一致性模型

网络拓扑概念

在本地网络中，两个节点被称为“彼此近邻”:

在海量数据处理中，其主要限制因素是节点之间数据的传输速率——带宽很稀缺。
这里的想法是将两个节点间的带宽作为距离的衡量标准。

节点距离：两个节点到达最近的共同祖先的距离总和。

例如，假设有数据中心 d1 机架 r1 中的节点 n1。该节点可以表示为/d1/r1/n1。利用这种
标记，这里给出四种距离描述

机架感知(副本节点的选择)

官方 ip 地址：
http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/RackAwareness.html
http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Dat

低版本 Hadoop 副本节点选择

第一个副本在 client 所处的节点上。如果客户端在集群外，随机选一个。
第二个副本和第一个副本位于不相同机架的随机节点上
第三个副本和第二个副本位于相同机架，节点随机
Hadoop2.7.2 副本节点选择
第一个副本在 client 所处的节点上。如果客户端在集群外，随机选一个。
第二个副本和第一个副本位于相同机架，随机节点。
第三个副本位于不同机架，随机节点。

HDFS 如何控制客户端读取哪个副本节点数据
HDFS 满足客户端访问副本数据的最近原则。即客户端距离哪个副本数据最近，HDFS
就让哪个节点把数据给客户端。

一致性模型

 /**
     * 一致性模型
     * 向HDFS上写数据
     */
    @Test
    public void writeFile() throws URISyntaxException, IOException, InterruptedException {
        //1 获取文件系统
        Configuration configuration = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://testnote01:9000"),configuration,"root");
        //2 获取输出流
        FSDataOutputStream fos = fs.create(new Path("/hello9.txt"));
        //3 写数据
        fos.write("hello".getBytes());

        //4 一致性刷新
        fos.hflush();
        //5 关闭资源
        fos.close();
        fs.close();
    }

适用场景:
写入数据的时候,如果希望数据被其他client立刻可见
FsDataOutputStream. hflush (); //清理客户端缓冲区数据，被其他 client 立即可见
而不是关闭流才可见