hdfs读写文件流程

HDFS写文件流程

写详细步骤：

1.客户端hdfsclient创建FileSystem向NameNode发出写文件的请求(请求创建文件的元信息)。
2.NameNode响应上传文件的元信息：可写的DataNode列表{文件名:数据.txt ；路径：/abc；数据块：2；数据块1：{dn1.1},{dn2.2}；数据块2：{dn2.1},{dn3.2}}。

3.client创建FSDataOutputStream输出流 ，client端按128MB的块切分文件。 向dn1节点写数据，DataNode之间进行水平复制
4.每个DataNode写完一个块后，会返回确认信息；写完数据，关闭输输出流。发送完成信号给NameNode。 
 

HDFS读文件流程

 

读文件详细步骤：

1. client创建FIleSystem向NameNode，查询元数据信息，
2. NameNode返回元信息数据：{文件名:数据.txt ；路径：/abc；数据块：2；数据块1：{dn1.1},{dn2.2}；数据块2：{dn2.1},{dn3.2}}。
3. client创建输入流FSInputStream,根据元数据信息下载第一个数据块。。。第二个数据块
4. 关闭输入流