HDFS读取文件详解

HDFS读取文件

1. 客户端向namenode发出请求下载文件（呢个路径下的呢个文件）；
2. namenode经过查找源数据信息，哦，发现有请求需要的信息，然后将目标文件的元数据返回给client，元数据包扣文件储存在呢些DataNode下的，呢些block，都会发给client；
3. client根据元数据开始请求读取数据，默认是先读取路由距离最近的节点内容，建立请求连接，我要读取呢个DataNode下的呢个block。与此同时在当前DataNode与client之间建立socket连接；
4. DataNode收到请求后，首先将自己本地内存相关的数据进行读出来，放到缓存中，其次是将缓存中的数据放到socket管道中，也就是socket进行读取DataNode数据（socketoutputstream）；
5. client通过socket进行数据读取（socketinputstream）；
6. client将读取到的数据写入硬盘中（fileoutputstream），开始其他DataNode下的block读取；
7. 每一个读取好之后追加到前一个后面，最终整体呈现出来的是一个完整的信息。