监控错误日志实例
作者:田逸(sery@163.com)
目的
:
1、
发现日志是否产生某个关键字(如系统日志的error)。
2、
不从头重复检查。日志文件不停滚动,每次从头检查的话,会查到已经发现的错误,就不符合我们的需求。
3、
发现新的关键字字日志中即发送报警。
原理:
用linux的diff工具,对比两个文件,并以grep提取我们要关注的“关键字”,如果有输出,则表明有异常,然后报警,再把源文件拿去覆盖对比的那个对象文件。
实验:
1、
工具:nagios插件check_log.
2、
文件:/var/log/messages及/var/log/message.arc。文件/var/log/messages本不存在的,执行命令后,自动生成。
我们先来看一下/var/log/messages 的内容:
Mar 21 04:02:10 MONITOR syslogd 1.4.1: restart.
Mar 23 15:03:32 MONITOR kernel: Kernel logging (proc) stopped.
Mar 23 15:03:32 MONITOR kernel: Kernel log daemon terminating.
Mar 23 15:03:33 MONITOR exiting on signal 15
Mar 23 15:03:33 MONITOR syslogd 1.4.1: restart.
Mar 23 15:03:33 MONITOR kernel: klogd 1.4.1, log source = /proc/kmsg started.
现在执行 ./check_log -F /var/log/messages -O /var/log/messages.arc -q "stop" 输出如下(因为/var/log/messages.arc无内容):
(1)
< Mar 23 15:03:32 MONITOR kernel: Kernel logging (proc) stopped.
执行完毕后,两个文件的内容就一致了。当我们再次执行 ./check_log -F /var/log/messages -O /var/log/messages.arc -q "stop" 时,输出内容为:Log check ok - 0 pattern matches found,这表明当前并没有新的“stop”产生。
接下来,改一下文件/var/log/messages.arc,比如我把stoped去掉一个s字母,然后执行./check_log -F /var/log/messages -O /var/log/messages.arc -q "stop",则会得出第一次执行的输出。
结论和改进:
可以满足一定的需求,如以error做正则表达式来判断是否有错误产生。
改进脚本,使其有一定量的error产生时,发送警告,多余一个量,则发送critical告警。
本文转自sery51CTO博客,原文链接:http://blog.51cto.com/sery/287923 ,如需转载请自行联系原作者