故障日志
data/fe/doris-meta/bdb recoveryTracker should overlap or follow on disk last VLSN
of 81,809,450 recoveryFirst= 81,809,452 UNEXPECTED_STATE_FATAL: Unexpected internal
state, unable to continue. Environment is invalid and must be closed.
背景
某台实例的fe重启起不来,日志显示是上边的情况。
此节点为OBOBSERVER
错误中的两个数值相差2。导致 FE 启动失败,只能恢复元数据了。
故障恢复操作
1.停止fe, ./bin/stop_fe.sh。备份故障那台 FE的meta_dir目录
2.确定FE的元数据最新节点
查看meta_dir/image 目录,image.xxxx 数字越大,数据越新,一般Master FE 的元数据是最新的。
3.查看集群情况
mysql -h127.0.0.1 -uroot -p"xxxx" -P 9030
>show frontends;
#显示情况查看图1,可以发现OBSERVER这台Alive了。
4.操作OBSERVER
OBSERVER的元数据目录meta_dir已经备份,重新创建meta_dir目录
5.OBSERVER节点操作
./bin/start_fe.sh --helper IP:9010 --daemon
6.Master节点操作
mysql -h127.0.0.1 -uroot -p"xxxx" -P 9030
>show frontends; #查看是否恢复正常。
7.其他
./bin/stop_fe.sh
su -
systemctl start doris-fe
图1