HDFS的读写流程

HDFS的写流程:
    1.客户端启动distributed FileSystem向namenode发送写数据请求
    2.namenode向distributed FileSystem响应可以写
    3.distributed FileSystem向namenode请求发送block
    4.namenode向distributed FileSystem发送dn1、dn2、dn3的地址
    5.FileDataOutputStream向最近距离的dn1请求发送block的传输通道,同时dn1向dn2发送请求传输通道,dn2向dn3发送请求传输通道
    6.dn1、dn2、dn3响应成功
    7.FileDataOutputStream向dn1传输数据packet,dn1传输到dn2,dn2传输到dn3
    注意:dn1与客户端在一台机架上,dn2与dn3在一台机架上,并且dn2和dn3是dn1的remote机架(即dn2和dn3与dn1不在同一台机架)
    因为要考虑到传输速率和数据可靠性
HDFS的读流程:
    1.客户端启动distributed FileSystem向namenode请求下载数据
    2.namenode向distributed FileSystem发送对应数据的位置
    3.FileDataInputStream向dn1请求下载blk_1
    4.dn1向FileDataInputStream传输数据
    注意:下载blk1和blk2数据是串行,即blk1完成之后才开始blk2
    同时FileDataInputStream读取数据要遵循 1.距离最近2.负载均衡

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值