细节图解HDFS-读流程
说明
- 在open的时候,客户端会去执行步骤2去获取起始位置的LocatedBlocks,getLocatedBlocks(src, start, dfsClientConf.prefetchSize),第三个参数是表示数据长度,默认是10 * defaultBlockSize,既1280M。在大多数情况下,无需请求步骤5,每一次定位block时只需要走第一次缓存的LocatedBlocks即可。当读取的offset大于缓存的LocatedBlocks的fileLength的时候,这个时候就需要向NN请求新一轮的LocatedBlocks,并将新的LocatedBlocks加入到缓存中。
步骤
- 客户端请求读取一个文件,路径为src.
- 调用DistributedFileSystem的open()方法,通过DFSClient获取0-1280M区间的block和dn的列表,在返回前NN的BlockManager会根据距离客户端的距离对此列表进行排序。
- 开始读取文件流了,根据LocatedBlocks找到合适的DataNode来读取数据
- 结束一次read后,下一次会seek到block上,如果block信息未缓存则调用步骤56.当所有的数据都读取完毕,关闭流。
相关类
- DistributedFileSystem
- DFSClient
- DFSInputStream
- NameNodeRpcServer
- FSNamesystem
- LocatedBlocks
hadoop 版本号
- 2.7.0
持续更新,欢迎订阅,与君共赏