hadoop HA模式
两个namenode
将edit文件在其他节点上备份(基于zookeeper实现qjournal edits日志管理。实现日志分布式一致性)
可用性和可靠性提高,但是可移植性降低
使用线程池同步往日志管理中发送edit,多数台写入成功,即能保证能往里面写入不一定全部写成功
使用ZKFC管理active namenode和 standby namenode 如果active的故障了则切换到standby
在切换之前,一定要确保active是死了,standby ZKFC使用ssh kill -9 杀死 active 确保active已经死了,如果ssh超时了调用用户自定义的shell脚本
往standby上注册一把锁标记为standby转变成了active
逻辑名称:nameservice下有两个namenode,客户端访问namesercvice 然后通过配置文件找到activie
YARN的高可用:
ResourceManager节点进行备份
namenode的水平扩展
扩展文件目录的时候,所有的datanode都可以为这两个目录节点所用。
通过blockpool-ip号来区分哪个块是属于哪个目录的
通过url访问目录不同(如/japanese/ /art-x/),读取不同的目录
namenode安全模式: