大数据Haoop之HDFS的SN合并原理

这里写图片描述

SN合并方式有两种:
SN主动通知NN,合并fsimage和edits
当edits文件到达我们设置的大小时,NN与SN通信,进行合并

edits.new文件:
1.标记上一次操作是完整结束的
2.在edits与fsimage合并期间,负责记录用户新的操作的指令

三个服务节点发生故障的情况:
NN:集群无法使用
SN:无法完成合并工作,edits会一直变大,在服务器接受的范围内,可以正常使用,超过承受范围,无法使用
DN:由NN将发生故障的DN上的元文件的所有副本复制到其他的DN,前提是DN能够接受的数据大小要大于最大的副本数

合并的原理:
1.当edits文件到达相应的大小时,NN与SN通信,请求合并
2.在合并前,edits生成edits.new文件
3.在SN中,SN将edits与fsimage进行合并,产生一个新的文件:fsimage.ckpt
4.在合并完成以后,fsimage.ckpt返回到NN
5.在NN中,将原来的edits和fsimage删除
6.NN将edits.new重命名为edits,fsimage.ckpt重命名为fsimage
7.此次合并结束,等待下次合并,一直循环

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值