HDFS读流程解析(附中文翻译)

最新推荐文章于 2024-04-09 17:19:14 发布

Dota_Data

最新推荐文章于 2024-04-09 17:19:14 发布

阅读量585

点赞数 1

文章标签： hadoop hdfs hdfs读

本文链接：https://blog.csdn.net/Dota_Data/article/details/91461966

版权

本文详细解析了Hadoop HDFS的读取流程，包括客户端如何通过FileSystem对象打开文件，DistributedFileSystem通过RPC与NameNode交互获取数据块位置，DFSInputStream管理与DataNode的I/O，以及在通信错误和数据校验中的处理策略。

摘要由CSDN通过智能技术生成

Hadoop HDFS Data Read Operations

HDFS读流程图

i) Client opens the file it wishes to read by calling open() on the FileSystem object, which for HDFS is an instance of DistributedFileSystem.

客户端打开文件, 并调用FileSystem类的open()方法来读文件. 对于HDFS而言是一个DistributedFileSystem的实例.

ii) DistributedFileSystem calls the namenode using RPC to determine the locations of the blocks for the first few blocks in the file. For each block, the namenode returns the addresses of the datanodes that have a copy of that block and datanode are sorted according to their proximity to the client.

DistributedFileSystem发送请求给namenode使用RPC(Rmove Procedure Call)去确定文件中前几个数据块的地址. 对每个数据块, namenode返回拥有该数据块的datanode的地址, 并根据datanode离客户端的距离对他们进行排序.

iii) DistributedFileSystem returns