秋招吐槽——hdfs联邦制度

如题,起因是今年秋招我曾面过北京appannie的大数据开发岗,技术面的时候面试官有问我一个很奇怪的问题

 

前面我们讨论了下关于集群如何保证高可用性,我说做成HA的,两个master,一个挂了,另一个接替

然后他问我,“两个master是同时运行的吗?”,我说“不是,一个action,一个是standby,二者的元数据是相同的。”

他这时候就问我,应该如何优化这种模式,因为你有2个主节点,一个运行,一个不运行,势必会有资源浪费

 

我当时就一愣,因为从没思考过这方面的问题,也没接触过类似的,我想了想,回答不知道

然后面试官就回答我说 “让两个都一起运行啊,这么简单都想不到吗?”

 

我就很懵,立刻我就反问道:“那你是如何解决脑裂问题的?两个master一起运行那不得打架?”

面试官就一脸高深莫测的说:“你下去自己看看吧,我就不跟你说了。”

 

直到现在,我TMD才明白那是个什么玩意,他的问法完全就是错的,只要配成HA模式,势必会有一个action状态的master和至少一个standby状态的master(3.0支持多个standby状态的master)

所以完全不可能两个都运行,这TMD是从底层原理上就限制了的

 

他想问的,应该是“Hadoop 的 NN 所使用的资源受所在服务的物理限制,不能满足实际生产需求时,应该怎么做?”

 

这问题就很明了了,hdfs联邦制就是去解决这个问题了,即多个ha 联合组成一套集群环境,对外提供一致接口【ViewFs】(相当于扩容) 
即cluserID 相等,但是相同的datanode服务于不同的namenode。 
原理是通过namenodeID和blockPool-id来判别文件存放的位置。(相当于不同的namenode就是不同的入口,通过这些入口都可以访问都同一套东西,但因为有了多个入口,所以对于单个入口的压力变小了)

 

但那怕是这种的,也是一定会有至少一个standby状态的master,不可能存在一个没有standby状态的master,那就不叫HA了,坑啊

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值