元数据管理+checkpoint

客户将数据存在内存中 对其进行修改 和查看
优点:操作方便,处理快
缺点:容易丢失
为了防止丢失,将数据持久化(序列化)到磁盘,每次操作都要序列化,频繁的对象–IO—>磁盘,占用资源影响性能。
所以 定时序列化,1H序列化一次,但1H以内的数据不能保存安全
所以及时存写 客户操作日志

checkpoint (1h):定期将日志文件和镜像文件合并,
将合并好的文件持久化到磁盘上,永久保存,保证数据的安全性
持久化文件 fsimage_000(镜像文件)

防止文件都是 定时生成日志
当机器宕机时,必须回放所有的日志进行加载数据,重新恢复原来的数据,这样恢复的时间比较长。

所以

  1. 我们应该定时的将日志和镜像文件进行合并。

  2. 将镜像文件和日志传输到secondary namenode,

  3. 反序列化镜像文件+回放日志=fsimage对象(最新的),

  4. fsimage对象 反序列化一个fsimage_003,

  5. 将fsimage_003传输到namenode保存

  6. 如果第一台机器宕机,只需要将fsimage_003和往后的日志反序列化就可以了(最新的日志传到secondary namenode 和fsimage对象进行合并,在序列化成fsimage_004,在传给第一台机器)

  7. 这是fsimage_003比较老了,进行删除

  8. 重复操作

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值