HDFS的读写删操作流程

最新推荐文章于 2024-01-16 01:03:21 发布

hongye301

最新推荐文章于 2024-01-16 01:03:21 发布

阅读量510

点赞数

分类专栏：大数据文章标签： HDFS 读操作写操作删操作

本文链接：https://blog.csdn.net/hongye301/article/details/86547609

版权

本文详细介绍了HDFS的读取、写入和删除操作流程。在读取流程中，客户端通过RPC访问NameNode获取文件存储路径，然后逐个DataNode读取文件块并校验。写入流程中，NameNode首先检查文件权限，然后客户端切分文件并写入DataNode，形成pipeline保证数据复制。删除流程涉及NameNode更新元数据，客户端发起删除请求。

摘要由CSDN通过智能技术生成

一、读取流程

在这里插入图片描述
上图的详细过程：
1、HDFS提供的客户端开发库Client，通过RPC访问NameNode，发送读操作。
2、NameNode通过查询元数据，获取到文件的存储路径，将文件对应的全部（文件较小）或者文件的部分（文件较大）的存储路径放到一个队列中，发送给客户端。
3、客户端收到队列，依次遍历队列，读取文件块的信息
4、客户端从队列中获取到第一个文件块的存储位置，从中选出一个最近的DataNode来进行读取。
5、读完第一块之后校验文件块的大小是否符合，如果符合，继续读取第二个文件块；如果不符合，表明文件有损坏，去其他DataNode重新读取，同时通过心跳机制告知NameNode。发送完后面的每一块都会校验。
6、读取完这批次的文件块，在此访问NameNode，获取下一批数据。
7、直到所有的文件块都读完，客户端会通知NameNode关闭文件。