hdfs读取数据的整体流程
1,客户端节点(代码)获取FileSystem
2,FileSystem去namenode上获取要读取的文件块位置。并且返回给客户端节点
3,获取到文件的所有块信息以后,FSDataInputStream开始准备在不同的块中读取数据。
4,FSDataInputStream内部有一个类,HdfsDataInputStream 保存文件的块信息列表,还负责挑选最近和最新的块在哪里。
FSDataInputStream内部另一个类,Streamer 负责读取操作
5,数据直接从datanode从节点读取到了客户端,不经过主节点。
hdfs读取数据的整体流程
最新推荐文章于 2024-05-10 09:00:43 发布