HDFS中上传文件中用到的核心概念

Pipeline:

Pipeline管道:这是HDFS在上传文件写数据过程中采用的一种数据传输方式。

实现方式:客户端将数据块写入第一个数据节点,第一个数据节点保存数据之后再将块复制到第二个数据节点,后者保存后将其复制到第三个数据节点。

 疑问:为什么DataNode之间采用Pipeline线性传输,而不是一次给三个DataNode拓扑式传输呢?

答:因为数据以管道的方式,顺序的沿着一个方向传输,这样能够充分利用每个机器的带宽,避免网络瓶颈和高延迟时的连接,最小化推送所有数据的延时。

AVK应答响应

 ACK (Acknowledge character)即是确认字符,在数据通信中,接收方发给发送方的一种传输类控制字符。表示发来的数据已确认接收无误。


补充:在HDFS pipeline管道传输数据的过程中,传输的反方向会进行ACK校验,确保数据传输安全。

默认3副本存储策略

通俗点来说,就是不要把鸡蛋放在同一个篮子中。

具体操作:

第一块副本:优先客户端本地,否则随机。
第二块副本:不同于第一块副本的不同机架。
第三块副本:第二块副本相同机架不同机器。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值