大数据笔记（一）：HDFS

开篇

这是一篇学习笔记，绝大部分内容来自于厦门大学的大数据课程，这边是课程在中国大学mooc上的链接大数据技术原理，希望这篇笔记能够帮助我记录重要的知识点，也帮助大家顺利地理解HDFS是什么？
云计算的两个要点，分布式存储和分布式处理，这里的HDFS就是分布式文件系统，也就是要点之一的分布式存储。OK，我们下面正式开始这篇的内容，HDFS。我们按照林老师上课的思路来记录我们的笔记。我们将重点讲下面几个点。

• 分布式文件系统
• HDFS简介
• HDFS相关概念
• HDFS体系结构
• HDFS存储原理
• HDFS数据读写过程
• HDFS编程实践

计算机集群结构

• 分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群
• 与之前使用多个处理器和专用高级硬件的并行化处理装置不同的是，目前的分布式文件系统所采用的计算机集群，都是由普通硬件构成的，这就大大降低了硬件上的开销
  现在的云计算都是在廉价的数据节点上构建的，机海战术。

分布式文件系统的结构

分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，这些节点分为两类，一类叫“主节点” (Master Node)或者也被称为“名称结点” (NameNode)，另一类叫“从节点”（ Slave Node）或者也被称为“数据节点” (DataNode)。HDFS就是采用的这样的结构。

HDFS简介

HDFS要实现的目标

●兼容廉价的硬件设备
●流数据读写
●大数据集
●简单的文件模型
●强大的跨平台兼容性

HDFS特殊的设计，在实现上述优良特性的同时，也使得自身具有一些应用局限性，主要包括以下几个方面：

●不适合低延迟数据访问
●无法高效存储大量小文件
●不支持多用户写入及任意修改文件

以块为单位存储的HDFS

HDFS默认一个块64MB，一个文件被分成多个块，以块作为存储单位块的大小远远大于普通文件系统，可以最小化寻址开销
HDFS采用抽象的块概念可以带来以下几个明显的好处：
● 支持大规模文件存储：文件以块为单位进行存储，一个大规模文件可以被分拆成若干个文件块，不同的文件块可以被分发到不同的节点上，因此，一个文件的大小不会受到单个节点的存储容量的限制，可以远远大于网络中任意节点的存储容量
● 简化系统设计：首先，大大简化了存储管理，因为文件块大小是固定的，这样就可以很容易计算出一个节点可以存储多少文件块；其次，方便了元数据的管理，元数据不需要和文件块一起存储，可以由其他系统负责管理元数据
● 适合数据备份：每个文件块都可以冗余存储到多个节点上，大大提高了系统的容错性和可用性

————————————————ps：下面进入第一个重点概念——————————————————-

名称节点和数据节点

名称节点的数据结构

•在HDFS中，名称节点（ NameNode）负责管理分布式文件系统的命名空间（ Namespace），保存了两个核心的数据结构，即FsImage和EditLog

1. FsImage用于维护文件系统树以及文件树中所有的文件和文件夹的元数据
2. 操作日志文件EditLog中记录了所有针对文件的创建、删除、重命名等操作

•名称节点记录了每个文件中各个块所在的数据节点的位置信息

FsImage文件

•FsImage文件包含文件系统中所有目录和文件inode的序列化形式。每个inode是一个文件或目录的元数据的内部表示，并包含此类信息：文件的复制等级、修改和访问时间、访问权限、块大小以及组成文件的块。对于目录，则存储修改时间、权限和配额元数据
•FsImage文件没有记录块存储在哪个数据节点。而是由名称节点把这些映射保留在内存中，当数据节点加入HDFS集群时，数据节点会把自己所包含的块列表告知给名称节点，此后会定期执行这种告知操作，以确保名称节点的块映射是最新的。

名称节点的启动

•在名称节点启动的时候，它会将FsImage文件中的内容加载到内存中，之后再执行EditLog文件中的各