分布式文件系统HDFS的结构及运行

--内容来自厦门大学林子雨教授的《大数据技术原理》课程，作为学习笔记。

• 分布式文件系统是大数据时代解决大规模数据存储问题的有效解决方案，HDFS开源实现了谷歌GFS，可以利用由廉价硬件构成的计算机集群实现海量数据的分布式存储；
• HDFS具有兼容廉价的硬件设备、流数据读写、大数据集、简单的文件模型、强大的跨平台兼容性等特点。缺点：不适合低延迟数据访问，无法高效存储大量小文件、不支持多用户写入，以及任意修改文件等；
• 块是HDFS核心的概念，一个大的文件会被拆分成很多个块。HDFS采用抽象的块概念，具有支持大规模文件存储，简化系统设计，适合数据备份等特点；
• HDFS采用了主从（Master/Slave）结构模型，一个HDFS集群包括一个名称节点和若干个数据节点。名称节点负责管理分布式文件系统的命名空间；数据节点是分布式文件系统HDFS的工作节点，负责数据的存储和读取；
• HDFS采用了冗余数据存储，增强了数据可靠性，加快了数据传输速度。HDFS还采用了相同的数据存放、数据读取和数据复制策略，来提升系统整体读写响应性能。HDFS把硬件出错看作一种常态，设计了错误恢复机制；
• 3.1分布式文件系统
• 3.2HDFS简介
• 3.3HDFS相关概念
• 3.4HDFS体系结构
• 3.5HDFS存储原理
• 3.6HDFS数据读写过程

3.1.1 分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群；

    与之前使用多个处理器和专用高级硬件的并行化处理装置不同的是，目前的分布式文件系统所采用的计算机集群，都是由普通硬件构成，这就大大降低