读取hdfs文件_[知识讲解篇-04]HDFS解决了什么问题（二）

HDFS中两个重要的组件： Namenode 和 Datanode

HDFS 采用 master/slave 架构。一个 HDFS 集群是由一个 Namenode(HA的情况除外) 和多个 Datanodes 组成。Namenode 是一个中心服务器，负责管理文件系统的名字空间(namespace) 以及客户端对文件的访问。集群中的 Datanode 一般是一个节点一个，负责管理它所在节点上的存储。HDFS 暴露了文件系统的名字空间，用户能够以文件的形式在上面存储数据。从内部看，一个文件其实被分成一个或多个数据块，这些块存储在一组 Datanode 上。Namenode 执行文件系统的名字空间操作，比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体 Datanode 节点的映射。Datanode 负责处理文件系统客户端的读写请求。在 Namenode 的统一调度下进行数据块的创建、删除和复制。

数据复制（产生了副本）

HDFS旨在可靠地在大型群集中的机器上存储文件。它将每个文件存储为一系列的块。文件的块被复制到多个节点（复制到几个由复制因子控制，hdfs-site.xml的dfs.replication属性）以实现容错。复制因子可以针对生成环境需要进行配置，复制因子可以在文件创建时指定，并可以稍后更改。

一个文件的所有块（文件越大按照块大小切分出来的块越多）中除最后一个块之外的所有块都具有相同的大小（hdfs-site.xml的dfs.blocksize）。HDFS中的文件是一次写入的（附加和截断除外），并且在任何时候都严格限定只有一个writer。

NameNode控制块的复制，它定期从集群中的每个DataNode接收Heartbeat和Blockreport。收到Heartbeat意味着DataNode运行正常，Blockreport包含DataNode上所有块的列表（NameNode即可以知道是否有丢块或多块）。

副本放置策略（决定副本放在哪个节点）

副本的放置对于HDFS的可靠性和性能至关重要。基于机架感知（Namenode知道副本在哪个rack）的副本放置策略的目的是提高数据可靠性，可用性和网络带宽利用率。

如果复制因子为3：

则HDFS的放置策略是在本地机器上放置第一个副本（如果写入器位于datanode上），否则随机放置在一个数据节点上；

第二个副本复制在另一个机架（非第一个副本所在的机架）的节点上；

第三个副本放在与第二个副本存放节点相同的机架上的其他节点上。

这样放置的优势所在：

降低了读取数据时使用的总体网络带宽，因为块仅放置在两个独特的机架中，而不是三个。使用此策略，文件的副本不会均匀分布在机架上。三分之一的副本位于一个节点，三分之二的副本位于一个机架上，另外三分之一均匀分布在其余机架上。此策略可提高写入性能，而不会影响数据可靠性或读取性能。

注意：

如果复制因子大于3，则随机确定第4个副本和后续副本的位置，同时将每个机架的副本数保持在上限以下（(replicas - 1) / racks + 2）。

由于NameNode不允许一个DataNode具有同一个块的多个副本，因此创建的最大副本数不应该大于DataNode节点的总数量。

副本选择（即读取的时候优先从哪个节点读取）
为了尽量减少全局带宽消耗和读取延迟，HDFS会尝试选择最接近读请求的块。如果在读节点的同一机架上存在副本，则该副本优先满足读取请求。如果HDFS群集跨越多个数据中心，则驻留在本地数据中心的副本优先于任何远程副本。