十、数据读/写流程

1、数据写入流程:

(1)基础流程

~客户端发送请求

~NameNode做判断,是否具有权限,空间是否充足

~返回地址,告诉客户端一个datanode,

~向指定的datanode发送数据包,

        副本的复制和备份如何处理?

        被写入的DataNode同时完成数据副本的复制工作,将其接收的数据分发给其它DataNode,DataNode之间完成本分

~客户端告诉NameNode工作结束,NameNode开始记录元数据,即工作文档。

(2)注意点:

        NameNode不接受数据,它只负责审批和记录元数据

        DataNode很多,但是客户端只和一台(由NameNode)指定的DataNode建立联系,一般会将网络距离较近的DataNode分配给客户端,

~网络距离:

        同一台服务器……同一个局域网内……同一个机架里……同一个数据中心,总归来说,它会同股票特殊的计算,计算出网络距离较近的DataNode。

        数据块之间的复制工作,由DataNode之间自行完成,它们之间会形成PipeLine(派泡莱)管道,按照顺序纷发。

2、数据读取流程

(1)基础流程

~客户端向NameNode发送请求,

~NameNode审核客户端权限,允许读取并告诉客户端block列表

~客户端根据NameNode提供文件的block列表自行从DataNode中读取所需要的block块

        同样的,在NameNode返回给客户端的block列表中,同样会指出网络距离最近的那一份,因为一个block块存在3个备份,存在于三个不同的DataNode中,通过特殊算法计算网络距离,返回网络距离最近的DataNode。

(2)注意点

3、总结

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

弦之森

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值