面试大数据方向必问的问题：HDFS的读写流程

HDFS读写流程

这个问题是面试大数据分析师必不可少的问题，有不少面试者不能完整的说出
来，所以请务必记住。并且很多问题都是从 HDFS 读写流程中引申出来的。

一、HDFS读流程

1. Client 向 NameNode 发送 RPC 请求。请求文件 block 的位置；
2. NameNode 收到请求之后会检查用户权限以及是否有这个文件，如果都符
   合，则会视情况返回部分或全部的 block 列表，对于每个 block，NameNode
   都会返回含有该 block 副本的 DataNode 地址；这些返回的 DataNode 地址，
   会按照集群拓扑结构得出 DataNode 与客户端的距离，然后进行排序，排
   序两个规则：网络拓扑结构中距离 Client 近的排靠前；心跳机制中超时
   汇报的 DataNode 状态为 STALE，这样的排靠后；
3. Client 选取排序靠前的 DataNode 来读取 block，如果客户端本身就是
   DataNode,那么将从本地直接获取数据(短路读取特性)；
4. 底层上本质是建立 Socket Stream（FSDataInputStream），重复的调用父类
   DataInputStream 的 read 方法，直到这个块上的数据读取完毕；
5. 当读完列表的 block 后，若文件读取还没有结束，客户端会继续向
   NameNode 获取下一批的 block 列表；
6. 读取完一个 block 都会进行 checksum 验证，如果读取 DataNode 时出现错误，
   客户端会通知 NameNode，然后再从下一个拥有该 block 副本的 DataNode
   继续读；
7. read 方法是并行的读取 block 信息，不是一块一块的读取；NameNode 只是
   返回 Client 请求包含块的 DataNode 地址，并不是返回请求块的数据；
8. 最终读取来所有的 block 会合并成一个完整的最终文件；
   

二、HDFS写流程

1. Client 客户端发送上传请求，通过 RPC 与 NameNode 建立通信，NameNode
   检查该用户是否有上传权限，以及上传的文件是否在 HDFS 对应的目录下
   重名，如果这两者有任意一个不满足，则直接报错，如果两者都满足，则
   返回给客户端一个可以上传的信息；
2. Client 根据文件的大小进行切分，默认 128M 一块，切分完成之后给
   NameNode 发送请求第一个 block 块上传到哪些服务器上；
3. NameNode 收到请求之后，根据网络拓扑和机架感知以及副本机制进行文
   件分配，返回可用的 DataNode 的地址；
4. 客户端收到地址之后与服务器地址列表中的一个节点如 A 进行通信，本
   质上就是 RPC 调用，建立 pipeline，A 收到请求后会继续调用 B，B 在调
   用 C，将整个 pipeline 建立完成，逐级返回 Client；
5. Client 开始向 A 上发送第一个 block（先从磁盘读取数据然后放到本地内存
   缓存），以 packet（数据包，64kb）为单位，A 收到一个 packet 就会发送给
   B，然后 B 发送给 C，A 每传完一个 packet 就会放入一个应答队列等待应答；
6. 数据被分割成一个个的 packet 数据包在 pipeline 上依次传输，在 pipeline
   反向传输中，逐个发送 ack（命令正确应答），最终由 pipeline 中第一个
   DataNode 节点 A 将 pipelineack 发送给 Client；
7. 当一个 block 传输完成之后, Client 再次请求 NameNode 上传第二个 block，
   NameNode 重新选择三台 DataNode 给 Client。