八、HA
1.概述:
-
高可用(消除单点故障)
-
比如配置多台namenode、resourcemanager
2.hdfs-ha故障转移机制
-
首先保证多台nn数据一致:引进新journalnode来保证edtis(文件管理系统)数据一致
-
其中一台nn为active,其他为standby(自动故障转移)
-
active的zkfc检测到该节点假死,则通知另一台nn的zkfc
-
新nn强行杀死原active,并激活自身为active
3.ha集群配置(多nn)
-
修改配置文件,启动journalnode服务
-
格式化namenode,并启动
-
其余节点同步nn1元数据,并启动nn,再启动dn
-
设置active,启动zookeeper
-
初始化ha在zookeeper中的状态
4.ha集群配置(多rm)
-
修改配置文件
-
启动yarn