Hadoop存储系统——基本概念及通信协议简介

Hadoop是一个分布式系统，其包括两大核心内容，一个是并行计算框架MapReduce，另一个就是分布式存储系统HDFS了。从分布式系统理论的角度考虑，一般的分布式系统需要考虑的核心问题包括：数据分块、元数据管理、高可靠性、高可用性、高可扩展性、容错控制、高吞吐量以及高传输等问题；从架构上来讲主流模型是P2P模型和主从结构模型，对外来讲只需要暴露一个统一的访问接口、对用户透明，而且要保护用户数据的一致性。

Hadoop的存储系统HDFS就是这样的一个分布式文件系统，HDFS使用廉价的商用硬件搭建系统并向大量用户提供可容错的高性能服务，并能提供高吞吐量的数据访问。Hadoop分布式文件系统是由一个Master和大量服务器Slave构成的。Master可存放文件系统的所有元数据，包括名称空间、访问控制、文件分块信息、文件块的位置信息等。HDFS中的文件默认切分为64MB的块进行存储。为了保证高可靠性和高可用性，采用冗余存储机制的方式来保存数据，每份数据在系统中至少保存3个以上的备份。为了保证数据的一致性，对于数据的修改需要在所有数据中进行，并用版本号的方式来确保所有备份处于一致的状态。HDFS作为Hadoop的基石为分布式计算框架MapReduce提供底层的分布式存储支撑。

NameNode 

HDFS采用Master/Slave架构，NameNode就是HDFS的Master架构，主要负责HDFS文件系统的管理工作，包括名称空间（namespace）管理，文件Block管理。NameNode提供的是始终被动接受服务的Server，他主要有三类协议接口（1、2、3）：