HDFS读文件操作原理图
HDFS读文件过程讲解
1. 客户端向NameNode请求下载a.txt文件
2. NmaeNode会通过逻辑映射关系来找到a.txt所对应的block1与block2所对应的id,随后通过物理映射关系来确认每个id所对应的存储在DN的全路径,并返还给客户端一个较近较闲置的DN(先返还DN1所对应的全路径,DN1操作完后,再返回DN2所对应的全路径,以此类推,具有先后顺序)
3. 客户端拿到block1在DN1对应的全路径后,读取数据块block1
4. 将数据传回客户端
5. 客户端将block1的数据传入本地文件
6. 重复2~4的过程,客户端获取block2的数据
7. 将读到的block2数据追加到block1的后面
8. 文件a.txt完整后,hdfs读取结束。
HDFS读文件的命令呈现
hdfs dfs -get 文件路径 去处的路径