墨墨导读:底层超融合故障导致数据库产生较多坏块,最终导致数据库宕机。
背景概述
某客户数据由于底层超融合故障导致数据库产生有大量的坏块,最终导致数据库宕机,通过数据抢救,恢复了全部的数据。
下面是详细的故障分析诊断过程,以及详细的解决方案描述:
故障现象
数据库宕机之后,现场工程师开始用rman备份恢复数据库,当数据库alert日志提示控制文件有大量坏块。
并且提示无法访问在线日志。
恢复过程
客户只restore了数据,通过编写脚本recover数据库。
recover失败提示控制文件有坏块
发现控制文件已经损坏,开始重建控制文件
然后重新recover database
发现归档也居然有损坏,通过allow 10 corruption处理。
export ORACLE_SID=****rman target / nocatalog log=/app/backup/data/rman_reover_`date +%Y%m%d-%H%M%S`.log <<EOFrun {allocate channel c1 type disk;allocate channel c2 type disk;allocate channel c3 type disk;allocate channel c4 type disk;allocate channel c5 type disk;allocate channel c6 type disk;recover database allow 10 corruption; --允许10个坏块release channel c1;release channel c2;release channel c3;release ch