大数据之Hadoop(HDFS读文件)

本文详细解析了HDFS读取文件的过程,包括客户端向NameNode请求、逻辑和物理映射寻找block、选择最近的DataNode、读取和传输数据块,以及使用hdfsdfs-get命令的展示。
摘要由CSDN通过智能技术生成

HDFS读文件操作原理图

HDFS读文件过程讲解

1. 客户端向NameNode请求下载a.txt文件
2. NmaeNode会通过逻辑映射关系来找到a.txt所对应的block1与block2所对应的id,随后通过物理映射关系来确认每个id所对应的存储在DN的全路径,并返还给客户端一个较近较闲置的DN(先返还DN1所对应的全路径,DN1操作完后,再返回DN2所对应的全路径,以此类推,具有先后顺序)
3. 客户端拿到block1在DN1对应的全路径后,读取数据块block1
4. 将数据传回客户端
5. 客户端将block1的数据传入本地文件
6. 重复2~4的过程,客户端获取block2的数据
7. 将读到的block2数据追加到block1的后面
8. 文件a.txt完整后,hdfs读取结束。

HDFS读文件的命令呈现

hdfs dfs -get 文件路径 去处的路径
  • 4
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值