临近年关,各个数据库相关的维护都想获取最新的服务器状态,客户一hpunix系统出现点问题,表现为sar、iostat会被卡住,ioscan执行会使得数据库log buffer 写redo堵塞,导致log file sync等待,会话飙升。
1、现象如下
2、查看数据库中的等待事件集中为log file sync,初步定为是存储写log buffer 到redo慢
3、检查操作系统日志,发现问题时间点有root执行:ioscan -nf|grep -i E "unclaimed | unknown | NO_HW |SCAN"
4、经询问得知,是系统工程师在做扫盘,查看磁盘是否有坏道坏盘情况,其实是出于好意,但是却导致了数据库redo写入被堵塞,导致数据库会话飙升,交易超时。
5、临时处理措施,可以通过主机重启解决;但是,客户结算前禁止主机层次的扫盘动作,此前系统的iostat、sar等命令均会卡住,hpunix分析说是系统的一个BUG,需要升级补丁包。
此外,能引起数据库事务暂时堵塞的命令还有:alter system switch logfile;和alter system checkpoint;
所以,维护人员要有高度警觉,白天业务高峰期,千万不要在数据库服务器上执行高IO或者高CPU消耗的操作。