HDFS块分配策略

本文介绍了HDFS的块分配策略,从客户端发起请求开始,详细阐述了NN如何选择目标节点,包括本地机架和远程机架的选择,以及副本分配的多个阶段。在选择目标节点时,考虑了节点状态、存储空间、负载均衡等因素,确保数据的安全性和分布均匀。
摘要由CSDN通过智能技术生成


HDFS块分配策略



                                                                                               块分配策略流程图

注:上图提到的远程机架与本地机架是相对于找到的第一个副本的目标节点来说。

一个客户端a机器发起请求分配块请求,NN接收到请求后,执行如下块分配流程:

1)   如果a不是一个DataNode,则在集群范围内随机选择一个节点作为目标节点,否则执行下面的2,3步骤;

2)  判断a机器是否符合存储数据块的目标节点,如果符合,第一个块副本分配完毕;

3)如果a机器不符合作为目标节点,则在于与a机器同机架范围内寻找,如果找到目标节点,第一个块副本分配完毕;

4)如果在同一个机架内未找到符合要求的目标节点,则在集群内随机查找,找到则第一个块副本分配完毕,否则未找到符合条件的块,块分配失败;

5)如果已经成功分配

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值