Hadoop深入理解之HDFS

一 HDFS介绍
        HDFS（Hadoop Distributed File System）分布式文件储存系统，用于存储文件，通过目录树定位文件，适合一次性写入，多次读出且不支持修改操作也不适用于删除操作所以适合用来做过程性数据，历史数据存储以供数据分析等。所谓分布式既可以将文件存储到不同服务器上。

二 HDFS优缺点
        优点：1.高容错，数据自动保存多个副本，某一个副本丢失后可以自动恢复。
                   2.大规模数据处理，能够处理数据规模达到GB、TB、甚至PB级别的数据，能够处理百万规模以上的文件数量，数量相当之大。
                   3.可构建在廉价机器上，可通过多副本提高数据的可靠性和容错性。

        缺点：1.不适合做低延时数据访问，比如毫秒级的数据查询，所以不适合做业务系统的数据库。
                   2.不适合大量的存储小文件，会占用nn的内存来存储文件目录和块信息，而你呢的内存是有限的。小文件的寻址事件会超过读取时间这也违反了HDFS的设计原则。
                   3.不支持并发写入，不能多个线程同时写，当用户写入文件时nn会给客户写入文件一个文件锁，此时其他客户将不能写入。
                   4.仅支持数据追加，前文提到过，只能做数据写入，不能修改也不适用于删除。因为其本身特性修改文件会耗费大量的时间去寻址然后再去修改，在这过程中还可能会导致数据错乱，而直接输出一个新文件比这高效的多。

三 HDFS 组成
        1.NameNode(nn)
        （1）管理HDFS名称空间；
        （2）配置副本策略；
        （3）管理数据块(Block)映射信息;
        （4）处理客户端读写请求。

        2.DataNode
        （1）储存实际的数据块；（HDFS的文件在物理上是分块存储的，大小乐意根据配置参数dfs.blocksize规定，默认大小在Hadoop2中是128M/块，老版本中是64M/块）
        （2）执行数据块的读写操作。

        3.Client
        （1）文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后进行上传；
        （2）与NameNode交互，获取文件的位置信息；
        （3）与DataNode交互，读取或者写入数据；
        （4）Client提供一些命令来管理HDFS，比如NameNode格式化；
        （5）Client可以通过一些命令来访问HDFS，比如对HDFS增删查改操作。

        4.Secondary NameNode(2nn)
        （1）辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode；
        （2）在紧急情况下，可辅助恢复NameNode，但不能完整的恢复，也不是nn的备份。

四 工作机制

datanode

1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。

2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。

3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。

4）集群运行中可以安全加入和退出一些机器。

nn与2nn

1. 第一阶段：NameNode启动

（1）第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。

（2）客户端对元数据进行增删改的请求。

（3）NameNode记录操作日志，更新滚动日志。

（4）NameNode在内存中对元数据进行增删改。

2. 第二阶段：Secondary NameNode工作

（1）Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。

（2）Secondary NameNode请求执行CheckPoint。

（3）NameNode滚动正在写的Edits日志。

（4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。

（5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。

（6）生成新的镜像文件fsimage.chkpoint。

（7）拷贝fsimage.chkpoint到NameNode。

（8）NameNode将fsimage.chkpoint重新命名成fsimage。

NN和2NN工作机制详解： Fsimage：NameNode内存中元数据序列化后形成的文件。 Edits：记录客户端更新元数据信息的每一步操作（可通过Edits运算出元数据）。 NameNode启动时，先滚动Edits并生成一个空的edits.inprogress，然后加载Edits和Fsimage到内存中，此时NameNode内存就持有最新的元数据信息。Client开始对NameNode发送元数据的增删改的请求，这些请求的操作首先会被记录到edits.inprogress中（查询元数据的操作不会被记录在Edits中，因为查询操作不会更改元数据信息），如果此时NameNode挂掉，重启后会从Edits中读取元数据的信息。然后，NameNode会在内存中执行元数据的增删改的操作。 由于Edits中记录的操作会越来越多，Edits文件会越来越大，导致NameNode在启动加载Edits时会很慢，所以需要对Edits和Fsimage进行合并（所谓合并，就是将Edits和Fsimage加载到内存中，照着Edits中的操作一步步执行，最终形成新的Fsimage）。SecondaryNameNode的作用就是帮助NameNode进行Edits和Fsimage的合并工作。 SecondaryNameNode首先会询问NameNode是否需要CheckPoint（触发CheckPoint需要满足两个条件中的任意一个，定时时间到和Edits中数据写满了）。直接带回NameNode是否检查结果。SecondaryNameNode执行CheckPoint操作，首先会让NameNode滚动Edits并生成一个空的edits.inprogress，滚动Edits的目的是给Edits打个标记，以后所有新的操作都写入edits.inprogress，其他未合并的Edits和Fsimage会拷贝到SecondaryNameNode的本地，然后将拷贝的Edits和Fsimage加载到内存中进行合并，生成fsimage.chkpoint，然后将fsimage.chkpoint拷贝给NameNode，重命名为Fsimage后替换掉原来的Fsimage。NameNode在启动时就只需要加载之前未合并的Edits和Fsimage即可，因为合并过的Edits中的元数据信息已经被记录在Fsimage中。

五 常用命令
        查看 hdfs fs -ls
        删除 hdfs fs -r
        新建 hdfs fs -mkdir