HDFS副本放置策略和文件的读写流程

HDFS副本放置策略

第一个副本:
假如上传节点为DN节点，优先放置本节点；
否则就随机挑选一台磁盘不太慢 CPU不太繁忙的节点；

第二个副本:
放置在于第一个副本的不同的机架的节点上

第三个副本:
放置于第二个副本相同机架的不同节点上

其它副本
随机挑选

备注：
CDH机架有一个默认机架 虚拟的概念；
CDH一般不调整这种默认机架

文件读流程

1.首先client调用FileSystem对象的open(filePath)方法，与namenode通过[rpc]通信获得文件的第一批块(Block)的位置信息，这些位置信息按照Hadoop拓扑结构排序，距离客户端近的排在前面，也就是返回一个文件系统数据输入流(FSDataInputStream)对象
2.client调用FSDataInputStream对象read方法，会找出第一个块最近的DataNode进行read,读取完成后，会check,假如ok，就关闭与当前DN的通信；假如失败，会记录失败块+DataNode信息，下次不会再读取；然后去第二个块的最近的DN上通信读取，check后，关闭通信.