HDFS副本放置策略
第一个副本:
假如上传节点为DN节点,优先放置本节点;
否则就随机挑选一台磁盘不太慢 CPU不太繁忙的节点;
第二个副本:
放置在于第一个副本的不同的机架的节点上
第三个副本:
放置于第二个副本相同机架的不同节点上
其它副本
随机挑选
备注:
CDH机架有一个默认机架 虚拟的概念;
CDH一般不调整这种默认机架
文件读流程
1.首先client调用FileSystem对象的open(filePath)方法,与namenode通过[rpc]通信获得文件的第一批块(Block)的位置信息,这些位置信息按照Hadoop拓扑结构排序,距离客户端近的排在前面,也就是返回一个文件系统数据输入流(FSDataInputStream)对象
2.client调用FSDataInputStream对象read方法,会找出第一个块最近的DataNode进行read,读取完成后,会check,假如ok,就关闭与当前DN的通信;假如失败,会记录失败块+DataNode信息,下次不会再读取;然后去第二个块的最近的DN上通信读取,check后,关闭通信.