简易日志中心建设

在前一段时间的工作中，需要监控多个oracle数据库和应用的运行状况，通过nagios等开源监控软件能基本判断业务的运行是否健康。但是针对业务报错问题始终是一个大难题，比如说在系统中一些正常的业务阻断，并不会影响系统的稳定运行，但是在某些情况下，又需要将这些情况进行告警。

于是，经过思索想到可以通过python去消费kafka消息队列里面的数据。于是，简单的设计了一个基于filebeat+kafka（+es）构成的日志中心，利用filebeat将各个服务器上的日志文件，抽取至kafka消息队列，并根据实际情况考虑是否需要保存，如果需要持久化保存的话，可以考虑在搭配ES进行数据存储，同时利用python语言编写一个kafka消费脚本，对kafka队列中的数据进行分析，获取到指定告警信息后，调用消息发送脚本或方法进行告警消息发送。这样，就只需要简单的配置，就可以实现多元化的日志监控，

• 在filebeat抽取数据时，可以根据需要进行数据筛选后抽取，也可以全部抽取；

• python脚本对数据进行分析并发送告警消息；

filebeat的配置暂时不再进行阐述，以下是python实现的原理和方法：