Hadoop 复习整理（HDFS）

HDFS 分布式文件系统

---

基本原理：将文件切分成等大的数据块，分别存储在多台机器上；每个数据块存在多个备份；将数据切分、容错、负载均衡等功能透明化。

namenode: 管理文件系统的命名空间,它维护着文件系统树及整棵树内所有的文件和目录.

     包含两个文件：命名空间镜像文件(fs-image：是HDFS文件系统存于硬盘中的元数据检查点，里面记录了自最后一次检查点之前HDFS文件系统中所有目录和文件的序列化信息)和编辑日志(edit-logs：保存了来自最后一次检查点之后所有针对HDFS文件系统的操作，比如：增加文件、重命名文件、删除目录等等)文件。

datanode：是文件系统的工作节点，它们根据需要存储并检索数据块(受客户端或namenode调度)，并且定期向namenode发送它们所存储的块的列表（定时发送心跳）。
客户端(Client)：Client代表用户通过namenode和datanode访问整个文件系统，客户端提供一个类似于POSIX（可移植操作系统界面）的文件系统接口，因此用户在编程时无需知道namenode和datanode也可实现其功能。

SencondaryNameNode：SNameNode是NameNode的助手，不要将其理解成是NameNode的备份。Secondary NameNode的整个目的在HDFS中提供一个Checkpoint Node，所以也被叫做checkpoint node。

      SencondaryNameNode定时的从NameNode获取edit-logs,并更新到fs-image上。一旦它有新的fs-image文件，它将其拷贝回NameNode上，NameNode在下次重启时回使用这个新的fsimage文件，从而减少重启的时间。

注：关于NameNode是什么时候将改动写到edit logs中的？这个操作实际上是由DataNode的写操作触发的，当我们往DataNode写文件时，DataNode会跟NameNode通信，告诉NameNode什么文件的第几个block放在它那里，NameNode这个时候会将这些元数据信息写到edit logs文件中。

---

HDFS写数据过程：

首先client请求NN(namenode)，要将多个文件写入HDFS，NN根据DN（datanode）的健康状态、复制因子、机架感知等因素随机选择的DN,建立pipline，client选择一个DN1将数据写入，其他DN从DN1复制数据，复制成功后将反馈回复给DN1,最终通过DN1将反馈传递给client，client将信息反馈给NN,NN更新元数据，client关闭pipline。

---

HDFS读取数据过程：

首先client请求NN，要读取数据，NN根据元数据将存储数据的DNs列表返回给client，client根据列表信息连接DN读取数据，最终Client合并读取来的数据块（block）.

---

HDFS常用命令：

[cat]
使用方法：hadoopfs-cat URI [URI …]
说明：将路径指定文件的内容输出到stdout

[appendToFile]
使用方法：hadoopfs-appendToFile<localsrc> ... <dst>
说明：添加(追加)一个或多个源文件到目标文件中。或者将标准输入中的数据写入目标文件。

[chgrp]
使用方法：hadoopfs-chgrp[-R] GROUP URI [URI ...]
说明：改变hdfs文件所属组。修改该权限的用户必须拥有此目录权限或者父用户。-R是否递归

[chmod]
使用方法：hadoopfs-chmod[-R] <MODE[,MODE].