HDFS体系结构及读写流程

一、HDFS简介

     HDFS全称是Hadoop Distributed System。HDFS是为以流的方式存取大文件而设计的。适用于几百MB，GB以及TB，并写一次读多次的场合。而对于低延时数据访问、大量小文件、同时写和任意的文件修改，则并不是十分适合。

HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。

和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。

不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。

HDFS包括元数据节点（NameNode）、数据节点（DataNode）

• 元数据节点用来管理文件系统的命名空间
  • 其将所有的文件和文件夹的元数据保存在一个文件系统树中。
  • 这些信息也会在硬盘上保存成以下文件：命名空间镜像(namespace image)及修改日志(edit log)
  • 其还保存了一个文件包括哪些数据块，分布在哪些数据节点上。然而这些信息并不存储在硬盘上，而是在系统启动的时候从数据节点收集而成的。
• 数据节点是文件系统中真正存储数据的地方。
  • 客户端(client)或者元数据信息(namenode)可以向数据节点请求写入或者读出数据块。