db自动监控项目

各种系统事件处理/Alert mail监控

 1.   disk

（系统不定时mail或短信通知）

程式进行整个OS 的File System 空间使用率的监控，空间使用率超过90%会发送Mail，短信通知DBA，并在DBA Sysmon 监控主页红色alert。 目前DBA 和开发 每天都会有人为点检。

1. AP当有发生空间接近不足时，需考虑删除旧的log，基本上都已经定了cronjob定时删除旧的log。

2. DB的datafile所在分区空间接近不足时，最好不再往里面新加datafile。

如果是Archived log所在分区，需要立即启动备份job，备份完成之后，会自动删除备份完成的archived log，如果利用率快接近100%，需要立即删除比较旧的archived logfile,然后做resync catalog动作。

如果是Oracle_HOME所在分区，需要检查$ORACLE_HOME/network/log下的listener[xxx].log和udump、bdump、cdump下面的旧有trace file."

 

2.   tablespace 

（系统不定时mail或短信通知）

一、报警时机：

1. 当Tablespace空间不足（free%<10%且free_size<300M(hisdb)或free_size<200M(rel db)）时，发mail通知DBA。

2. 如果现在是下班时间(T>=17:00或T<8:00)，那么也发mail通知值班IT(目前的group为xxx),然后值班IT打电话通知当天值班的DBA进行处理。

3. 如果

(1)连续报警超过2次，还是没人处理或DBA没有处理完毕

(2)或者当时是周六、周日白天(8:00<=T<17:00)

(3)或者当时是元旦(1/1) ，五一(4/30~5/7),国庆(9/30~10/7) 白天(8:00<=T<17:00)

那么发出短信通知所有的DBA。

二、处理方式

1.收到通知时，需要对空间快满的tablespace增加datafile或对现有datafile增加size，增加时记得用bdf先检查磁盘空间使用情况。

 

3.    alert log

 （  系统mail不定时通知）

       每天定时检查alert.log,当db有发生ORA-错误时，会发出mail通知DBA。当收到通知时，需要初步判断该错误是否自己能够解决，如果不能够解决，需要到metalink开SR，请oracle协助解决。

 

4.   SIM报警

（系统mail不定时通知）

当Server重启，网卡断线，CPU、Memeory和磁盘等硬体故障发生时，SIM将发邮件通知DBA，需要判断该事件的原因并处理，必要时需要打HP 800保修。如果确认这是一件异常，需要到系统上记录该Event.     

 

5.    ISEE报警    

（系统mail不定时通知）

当rx系列小型机、EVA等设备的HardDisk/Mem/CPU/NIC/Array/PowerSupply等部件发生故障时，DBA和HP响应中心都会收到告警，HP会主动打我们的值班分机，再通过值班人员告知DBA联系方式，与DBA取得联络，一起解决报警事件。如果确认是异常，需要填写event record.  

 

6.                      MQ

（系统mail不定时通知）  

1. 当MQ的通道连接数或队列深度超过限定时，会mail通知DBA

2. 当收到通知时，需要检查该事件是否属于正常现象，如果不能判断，需要及时通知CIM，并进行处理，确认是否某支程式发生异常了，如mq connection没关或程式关闭了。

3. 如果对user有影响，需要填写event record。

 

7.     Job

（系统mail不定时通知）

当loader的job跑失败时，会发mail通知开发和DBA，DBA需要配合开发及时处理掉。  

 

8.   备份失败     

（系统mail不定时通知）

 备份job失败，会自动发送Mail 通知备份管理员

 当通过netbackup备份的job失败时，会发出mail通知DBA，DBA需要及时判断失败原因并解决，如果是特别重要的系统或SOX稽核的系统需要填写event record。