BigData<7>_HDFS深入

1. 副本摆放机制

机架感知策略：
由于处于不同的机架的两个节点在通信的时候需要通过交换机，而同一机架上的节点之间的通信网络带宽更高，效率更高，读写成本更低。
通常情况下，HDFS默认的副本系数为3：
副本1：本rack的一个节点上
副本2：另外一个rack的节点上
副本3：与2相同的rack的另外一个节点上
or
副本1：本rack的一个节点上
副本2：本rack的另外一个节点上
副本3：另外一个rack的节点上

2. 客户端写数据到HDFS的流程

3. 客户端读数据流程

4. HDFS Checkpoint

HDFS的元数据管理
元数据：就是HDFS的目录结构以及每个文件的Block信息（BlockID，副本系数，block存放在哪些DataNode上）
元数据存放在什么地方？对应的配置${hadoop.tmp.dir}/name/.....
元数据存放在文件中

/test1
/test1/a.txt
/test2
/test2/1.txt
/test2/2.txt
/test2/xxx

转载于:https://www.cnblogs.com/isguoqiang/p/11484149.html