细节图解HDFS-读流程

最新推荐文章于 2024-01-26 18:23:49 发布

尹忠政

最新推荐文章于 2024-01-26 18:23:49 发布

阅读量1.3k

点赞数

分类专栏： hadoop 文章标签： hdfs hadoop 大数据

本文链接：https://blog.csdn.net/qq_22271479/article/details/121132890

版权

13 篇文章 1 订阅

订阅专栏

在这里插入图片描述

在open的时候，客户端会去执行步骤2去获取起始位置的LocatedBlocks，getLocatedBlocks(src, start, dfsClientConf.prefetchSize)，第三个参数是表示数据长度，默认是10 * defaultBlockSize,既1280M。在大多数情况下，无需请求步骤5，每一次定位block时只需要走第一次缓存的LocatedBlocks即可。当读取的offset大于缓存的LocatedBlocks的fileLength的时候，这个时候就需要向NN请求新一轮的LocatedBlocks，并将新的LocatedBlocks加入到缓存中。

客户端请求读取一个文件，路径为src.
调用DistributedFileSystem的open()方法，通过DFSClient获取0-1280M区间的block和dn的列表，在返回前NN的BlockManager会根据距离客户端的距离对此列表进行排序。
开始读取文件流了，根据LocatedBlocks找到合适的DataNode来读取数据
结束一次read后，下一次会seek到block上，如果block信息未缓存则调用步骤56.当所有的数据都读取完毕，关闭流。

持续更新，欢迎订阅，与君共赏

关注