hadoop ha故障问题处理

问题描述：journalnode节点的editlog日志目录被其它应用日志占满；导致active nn 无法向 journalnode写入editlog，导致集群宕机；

解决思路：

HA的工作流程：集群启动后一个NN处于active状态，并提供服务，处理客户端和datanode的请求，并把editlog写到本地和share editlog(jounalnode)。另外一个NN处于Standby状态，它启动的时候加载fsimage，然后周期性的从share editlog中获取editlog，保持与active的状态同步。并且为了实现热备，增加FailoverController和ZK，FailoverController与ZK通信，通过ZK选主，ZK上会为active nn生成一个znode，FailoverController通过RPC让NN转换为active或standby。

1、确认集群宕机之前谁是active nn，查看两个nn节点的editlog哪个的txid更大（每条editlog都有一个txid，且连续的），更大的则为最好的宕机前的active NN

2、确认完第一步后，将active NN的所有editlog 拷贝到另一个nn节点的editlog目录；并且将editlog拷贝到所有的journalnode节点目录

3、清除ha在zk上的znode节点

sudo -u hdfs hdfs zkfc -formatZK  

4、重启hadoop后，将nn退出安全模式

5、集群开始恢复，有丢失的块，可以删除或者恢复。具体网上查

6、启动hbase，修复分区

备注：解决过程中可能会遇到很多坑，每个组件都可能启不来，具体可查看namenode、datanode、journalnode，FailoverController的日志来确认问题并逐一解决。