namenode中元数据的安全性

namenode管理着集群数据的元数据信息,并持久化存储在fsimage和editlog文件中,文件存放的位置是通过hdfs-site.xml中配置的。

fsimage的存放路径是dfs.namenode.name.dir的值,默认是“${dfs.tmp.dir}/dfs/name”。editlog文件的存放路径是dfs.namenode.edits.dir指定的值,默认是“${dfs.namenode.name.dir}”


为了保证安全性:

1、在hdfs-stite.xml文件中,指定路径时,指定多个路径,并用逗号分开,则fsimage和editlog文件会同时存储在多个位置,从而产生冗余,保证安全。


方案一定程度上能保证数据安全性,但前提是namenode这个节点没有宕机,因为文件是存在该节点的不同位置的。如果该节点宕机,那就找不到元数据了。


2、namenode的HA

    存在两个namenode节点 NN Active和NN Standby,使用代理(Zookeeper)监控NN Active的状态,当NN Active宕机时,自动把NN Standby转化为NN Active,为了保证NN Active和NN Standby 元数据的同步, NN Active和NN Standby通过journal node 进行通信,保证两个节点元数据的一致性

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值