HDFS读数据流

在这里插入图片描述
1.使用HDFS提供的客户端,调用分布式文件系统对象中的Open()函数来读取所需数据。
2.客户端向名称节点请求下载文件,名称节点通过查询元数据,找到文件所在的DateNode地址。
3.挑选一台DateNode服务器开始以数据流的形式读取数据。
4.DateNode开始传输数据给客户端,当第一个数据块读取完毕后,查找下一个离客户端最近的数据块,返回的时候会以远近进行排序。
5.若数据过大,还有剩余部分未提取,会重复上述步骤直到全部读完。
6.关闭文件,结束流程。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值