问题描述:journalnode节点的editlog日志目录被其它应用日志占满;导致active nn 无法向 journalnode写入editlog,导致集群宕机;
解决思路:
HA的工作流程:集群启动后一个NN处于active状态,并提供服务,处理客户端和datanode的请求,并把editlog写到本地和share editlog(jounalnode)。另外一个NN处于Standby状态,它启动的时候加载fsimage,然后周期性的从share editlog中获取editlog,保持与active的状态同步。并且为了实现热备,增加FailoverController和ZK,FailoverController与ZK通信,通过ZK选主,ZK上会为active nn生成一个znode,FailoverController通过RPC让NN转换为active或standby。
1、确认集群宕机之前谁是active nn,查看两个nn节点的editlog哪个的txid更大(每条editlog都有一个txid,且连续的),更大的则为最好的宕机前的active NN
2、确认完第一步后,将active NN的所有editlog 拷贝到另一个nn节点的editlog目录;并且将editlog拷贝到所有的journalnode节点目录
3、清除ha在zk上的znode节点
sudo -u hdfs hdfs zkfc -formatZK
4、重启hadoop后,将nn退出安全模式
5、集群开始恢复,有丢失的块,可以删除或者恢复。具体网上查
6、启动hbase,修复分区
备注:解决过程中可能会遇到很多坑,每个组件都可能启不来,具体可查看namenode、datanode、journalnode,FailoverController的日志来确认问题并逐一解决。