【高效server实践】--旁路监控系统

写完server程序运行起来后，并非就高枕无忧了，还需要旁路的监控系统时刻关注程序的健康程度，并做相应的自动化干预。一个完善的server监控系统应该涵盖以下方面
1：程序down掉，自动拉起
在linux环境下，只要简单的shell脚本即可做到：使用grep查看程序是否down掉

2：进程僵死判断

判断进程是否僵死有多种方法：业务拨测，心跳上传，log文件是否滚动（适合有周期行为的server）。其中业务拨测最准确，心跳上传会占用server额外的逻辑，log文件滚动属于旁路检查log文件对系统影响最小。

3：错误日志监控

首先程序得在错误异常节点打下日志，当错误日志出现时，及时通知到程序的维护人员。在Linux环境错误日志捕获一个比较好的方法是：使用脚本每分钟的0秒执行，每次查看当前分钟和前一分钟的所有日志行是否存在错误日志，有则告警。使用perl脚本的实现如下：

4：服务器负载监控
服务器负载监控属于运维的范畴，这里不多说，一般可以使用开源的软件监控如：Nagios，Zabbix