HDFS客户端上传下载文件流程

1 上传概述

客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后，客户端按顺序将文件逐个block传递给相应datanode，并由接收到block的datanode负责向其他datanode复制block的副本

2 上传详细步骤图

3、上传详细描述

1 客户端与nameNode通讯
1.1 客户端像nameNode发送上传文件请求。
1.2 nameNode返回响应，允许客户端上传文件。
1.3 客户端根据配置（dfs.blocksize - 块大少、hadoop 2.x 默认为128M）将文件切成N个block。
1.4 客户端向nameNode发出RPC请求上传第一个block，nameNode返回dataNode列表（dfs.replication - 副本个数、默认为3，需要多少个副本则返回多少个dataNode，选择dataNode主要考虑空间与距离）。
备注：dataNode选择策略（通过机架感知实现）。1、考虑网络传输效率，第一个优先考虑与客户端最近的dataNode（后面称该dataNode为dataNodeA，后面的如此类推）。2、效率副本可靠性，第二个dataNode会考虑与第一个不同机架的dataNode。3、第3个dataNode一般会在1个DataNode的机架上挑一个。

2 客户端与dataNode通讯
2.1 客户端与dataNodeA建立通道，上传第一个bolck。
2.2 dataNodeA与dataNodeB建立通道，通过PIPE LINE将数据传输至dataNodeB。
2.3 dataNodeB与dataNodeC建立通道，通过PIPE LINE将数据传输至dataNodeC。
2.4 客户端与dataNodeA传输完毕，dataNodeA则返回一个成功答应。

细节：
1、数据传输是以packet为单位进行传输，大小默认为64K。packet以chunk为单位进行校验，大小默认为512Byte。
2、只要有一个副本上传成功即可，其余失败的副本，之后nameNode会做异步的同步。
3、每传一个block，都需要向nameNode发出请求。

4、下载概述

1.首先调用FileSystem对象的open方法，其实是一个DistributedFileSystem的实例
2.DistributedFileSystem通过rpc(远程过程调用协议)获得文件的第一批个block的locations，同一block按照重复数会返回多个locations，这些locations按照hadoop拓扑结构排序，距离客户端近的排在前面.
3.前两步会返回一个FSDataInputStream对象，该对象会被封装成DFSInputStream对象，DFSInputStream可以方便的管理datanode和namenode数据流。客户端调用read方法，DFSInputStream最会找出离客户端最近的datanode并连接（hadoop的机架感知得到拓扑结构，并在该拓扑结构下进行自己的副本存放）。
4.数据从datanode源源不断的流向客户端。
5.如果第一块的数据读完了，就会关闭指向第一块的datanode连接，接着读取下一块。这些操作对客户端来说是透明的，客户端的角度看来只是读一个持续不断的流。
6.如果第一批block都读完了，DFSInputStream就会去namenode拿下一批blocks的location，然后继续读，如果所有的块都读完，这时就会关闭掉所有的流。

如果在读数据的时候，DFSInputStream和datanode的通讯发生异常，就会尝试正在读的block的排第二近的datanode,并且会记录哪个datanode发生错误，剩余的blocks读的时候就会直接跳过该datanode。DFSInputStream也会检查block数据校验和，如果发现一个坏的block,就会先报告到namenode节点，然后DFSInputStream在其他的datanode上读该block的副本

该设计的方向就是客户端直接连接datanode来检索数据并且namenode来负责为每一个block提供最优的datanode，namenode仅仅处理block location的请求，负责告诉client离它最近的数据在哪，而这些信息都加载在namenode的内存中，hdfs通过datanode集群可以承受大量客户端的并发访问。

转载：https://blog.csdn.net/sinat_17161487/article/details/42994021