hadoop基础之hdfs文件系统理论

欲实现海量数据的计算，必先解决海量数据的存储问题（分布式文件系统Distributed Filesystem）

数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。

dfs是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。

通透性。让实际上是通过网络来访问文件的动作，由程序与用户看来，就像是访问本地的磁盘一般。

容错。即使系统中有某些节点脱机，整体来说系统仍然可以持续运作而不会有数据损失。

分布式文件管理系统很多，hdfs只是其中一种。适用于一次写入多次查询的情况，不支持并发写情况，小文件不合适。

常见的分布式文件系统有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统，而是应用级的分布式文件存 储服务。

HDFS即Hadoop分布式文件系统（Hadoop Distributed Filesystem），以流式数据访问模式来存储超大文件，运行于商用硬件集群上，是管理网络中跨多台计算机存储的文件系统。

HDFS组成：

NameNode：管理---存储元数据信息

    维护整个文件的文件目录树，文件/目录的元信息和每个文件对应的数据块列表，接受用户的操作请求

    fsimage：元数据镜像文件，存储某一时段NameNode内存元数据信息

     edits：操作日志文件

     fstime：保存最近一次checkpoint的时间，最近一次还原点的时间

NameNode的工作特点：

     始终在内存中保存metedata（元数据信息），用于处理读请求

     有写请求时候，会先写editlog到磁盘(写日志），成功返回后，才会修改内存，并向客户端返回

    会维护一个fsimage文件，也就是namenode的元数据镜像，会通过合并edits文件来更新内容，secondary namenode就是用来合并fsimage和edit文件来更新Namenode的元数据

Datanode：实际存储被分块的数据

    文件块：1.0默认是64M，2.0默认是128M，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。

    数据块备份，默认复制三个（副本）。

secondary NameNode：协助namenode完成工作(不是热备）1.0版本及伪分布式才有

     Ha的一个解决方案，但不支持热备

    从NameNode上下载元数据信息（fsimage，edits），然后将二者合并，生成新的fsimage，并在本地保存，并将器推送到NameNode，替换旧的fsimage。

     合并的流程：通知切换，下载，合并，发回，替换

     合并的触发：1，时间（3600秒） 2，edit文件的大小（默认64M）

RPC——远程过程调用协议（hadoop的整个体系结构就是构建在RPC之上的）

HDFS读文件的过程：

1.初始化FileSystem，然后客户端(client)用FileSystem的open()函数打开文件

2.FileSystem用RPC调用元数据节点，得到文件的数据块信息，对于每一个数据块，元数据节点返回保存数据块的数据节点的地址。

3.FileSystem返回FSDataInputStream给客户端，用来读取数据，客户端调用stream的read()函数开始读取数据。

4.DFSInputStream连接保存此文件第一个数据块的最近的数据节点，data从数据节点读到客户端(client)

5.当此数据块读取完毕时，DFSInputStream关闭和此数据节点的连接，然后连接此文件下一个数据块的最近的数据节点。

6.当客户端读取完毕数据的时候，调用FSDataInputStream的close函数。

7.在读取数据的过程中，如果客户端在与数据节点通信出现错误，则尝试连接包含此数据块的下一个数据节点。

8.失败的数据节点将被记录，以后不再连接。

HDFS写文件的过程：

1.初始化FileSystem，客户端调用create()来创建文件

2.FileSystem用RPC调用元数据节点，在文件系统的命名空间中创建一个新的文件，元数据节点首先确定文件原来不存在，并且客户端有创建文件的权限，然后创建新文件。

3.FileSystem返回DFSOutputStream，客户端用于写数据，客户端开始写入数据。

4.DFSOutputStream将数据分成块，写入data queue。data queue由Data Streamer读取，并通知元数据节点分配数据节点，用来存储数据块(每块默认复制3块)。分配的数据节点放在一个pipeline里。Data Streamer将数据块写入pipeline中的第一个数据节点。第一个数据节点将数据块发送给第二个数据节点。第二个数据节点将数据发送给第三个数据节点。

5.DFSOutputStream为发出去的数据块保存了ack queue，等待pipeline中的数据节点告知数据已经写入成功。

6.当客户端结束写入数据，则调用stream的close函数。此操作将所有的数据块写入pipeline中的数据节点，并等待ack queue返回成功。最后通知元数据节点写入完毕。

7.如果数据节点在写入的过程中失败，关闭pipeline，将ack queue中的数据块放入data queue的开始，当前的数据块在已经写入的数据节点中被元数据节点赋予新的标示，则错误节点重启后能够察觉其数据块是过时的，会被删除。失败的数据节点从pipeline中移除，另外的数据块则写入pipeline中的另外两个数据节点。元数据节点则被通知此数据块是复制块数不足，将来会再创建第三份备份。

HDFS的java访问接口——FileSystem

    create：创建文件；

    open：读取文件；

    delete：删除文件；

    mkdirs：创建目录；

    delete：删除文件或者目录；

    listStatus：列出目录的内容；

    getFileStatus：显示文件系统的目录和文件的元数据信息；

HDFS的shell命令：

hdfs dfs =hadoop fs 

选项名称	使用格式	含义
-ls	-ls<路径>	查看指定目录的当前目录结构
-lsr	-lsr<路径>	递归查看指定路径的目录结构
-du	-du<路径>	统计目录下文件大小
-dus	-dus<路径>	汇总统计目录下文件（夹）大小
-count	-count[-q]<路径>	统计文件夹数量
-mv	-mv<源路径><目的路径>	移动
-cp	-cp<源路径><目的路径>	复制
-rm	-rm[-skipTrash]<路径>	删除文件或者空白文件夹
-rmr	-rmr[-skipTrash]<路径>	递归删除
-put	-put[多个linux上的文件><hdfs路径>	上传文件
-copyFromLocal	-copyFromLocal<多个linux上的文件><hdfs路径>	从本地复制
-moveFromLocal	-moveFromLocal<多个linux上的文件><hdfs路径>	从本地移动
-getmerge	-getmerge<源路径><linux路径>	合并到文件
-cat	-cat<hdfs文件内容>	查看文件内容
-text	-text<hdfs文件内容>	查看文件内容
-copyToLocal	-copyToLocal[-ignoreCrc][-crc][hdfs源路径][linux目的路径]	从本地复制
-moveToLocal	-moveToLocal [-crc] <hdfs 源路径> <linux目的路径>	从本地移动
-mkdir	-mkdir<hdfs路径>	创建空白文件夹
-setrep	-setrep[-r][-w]<副本数><路径>	修改副本文件
-touchz	-touchz<文件路径>	创建空白文件
-stat	-stat[format]<路径>	显示文件统计信息
-tail	-tail[-f]<文件>	查看文件尾部信息
-chmod	-chmod[-R]<权限模式>[路径]	修改权限
-chown	-chown[-R][属主][:[属组]]路径	修改属主
-chgrp	-chgrp[-R] 属组名称 路径	修改属组
-help	-help [命令选项]	帮助