python logstash_logstash联合python kafka进行异常数据监控

kafka的优点，我想大家应该知道…. 一个可以支撑大流量的消息系统, 要比redis靠谱点，毕竟人家数据可以落地硬盘…

现在所有的日志都通过logstash收集到了elasticsearch里面。 我们可以通过kibana来进行查看各种日志报表，但是问题是我们如何针对某些异常进行告警…   比如我临时要过滤些条件，比如出现某种ERROR，又或者爬虫服务的xx.com出现了大量的超时，某些页面因为改版，导致我们抓不到他的具体信息了。