大概两个月以前,HBASE挂了。
————————————————————————————————
描述:zookeeper可以使用,依赖环境全部启用,但是hbase无法启动,启动了以后秒挂。
最后发现:是hbase的校验失败导致无法启动。
hbase数据库用类似raid5的方式来储存数据,他把一份数据储存为3份,而其中一份数据坏块导致hbase的启动校验不通过,导致失败。
解决方式,就是用HBASE的数据修复工具把异常的数据修复即可。
由于我们系统的开发比较傻没有开启HBASE数据库的可视化配置,导致修复故障异常困难。
这个故障是生产库的故障,所以需要花费大量的时间去复现。我也不是很熟悉所以粗劣的记录一下。
————————————————————————————————
个人建议:
1.HBASE数据库需要定时备份。
2、开启前端界面以便排查HBASE数据库的功能。
3.如果使用高级工具必须要有对这个系统熟悉的维护人员或者dba、开发,不然出现问题的时候无语至极。
4.磁盘坏块是不可预期的,要定时检查一下磁盘的健康度。
记录一下。