hadoopHA模式

hadoop HA模式

两个namenode

将edit文件在其他节点上备份(基于zookeeper实现qjournal edits日志管理。实现日志分布式一致性)

可用性和可靠性提高,但是可移植性降低

使用线程池同步往日志管理中发送edit,多数台写入成功,即能保证能往里面写入不一定全部写成功

使用ZKFC管理active namenode和 standby namenode  如果active的故障了则切换到standby 

在切换之前,一定要确保active是死了,standby ZKFC使用ssh kill -9 杀死 active 确保active已经死了,如果ssh超时了调用用户自定义的shell脚本

往standby上注册一把锁标记为standby转变成了active

 逻辑名称:nameservice下有两个namenode,客户端访问namesercvice  然后通过配置文件找到activie

YARN的高可用:

ResourceManager节点进行备份

namenode的水平扩展

扩展文件目录的时候,所有的datanode都可以为这两个目录节点所用。

通过blockpool-ip号来区分哪个块是属于哪个目录的

通过url访问目录不同(如/japanese/   /art-x/),读取不同的目录

namenode安全模式:

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值