BigData6：Hadoop之图解HDFS上传下载文件相关流程

HDFS架构图

1）namnode，名字节点，最主要管理HDFS的元数据信息
2）datanode，数据节点，存储文件块
3）replication，文件块的副本，目的是确保数据存储的可靠性
4）rack 机器
5）Client 客户端。凡是通过指令或代码操作的一端都是客户端
6）Client 的Read（从HDFS下载文件到本地）
7）Client的Write（上传文件到HDFS上）

从HDFS下载文件过程

1.客户端向namenode发起Open File。目的是获取要下载的文件的输入流。
namenode收到请求之后，会检查路径的合法性，以及客户端的权限。
2.客户端在发起Open File的同时，还会调用 GetBlockLoaction。当第一步的检测都通过之后，namenode会将文件的块信息（元数据信息）封装到输入流，交给客户端。
3.4 客户端用输入流，根据元数据信息，去指定的datanode读取文件块（按blockid的顺序读取）
5.文件下载完成后关闭。

上传文件到HDFS

1.客户端发起Create File，目的是获取HDFS文件的输出流。namenode收到请求后会检测路径的合法性，以及权限。原生Hadoop的权限管理不是很完善，工作中的用的是CDH(商业版Hadoop)
如果检测都通过，namenode会为这个文件生成块的元数据信息（比如：①为文件切块②分配块id ③分配每个块存在哪个dataonde上），然后将元数据信息封装到输出流中，返回给客户端。
2.3 Client拿出输出流之后，采用PipeLine（数据流管道）机制做数据的上传（发送），这样设计的目的在于利用每台服务的带宽，最小化推送数据的延时。
packet是一个64kb大小的数据包。即客户端在发送文件块时，会文件块变成一个一个的数据包发送。

4.5 每台datanode收到packet收，会向上游datanode做ack确认，如果接受失败，会进行重发
6.当一个文件上传完后，关流。

从HDFS删除文件的流程

1.当客户端发起一个删除指令： hadoop fs -rm /park01/1.txt，这个指令会传给namenode
2.当namenode收到指令后，做路径和权限检测，如果检测都通过，会将对应的文件信息从内存里删除。此时，文件数据并不是马上就从集群上被删除
3.datanode向namenode发送心跳时（默认是3s周期），会领取删除指令，然后从磁盘上将文件删除。