大数据实时案例--实时日志监控告警系统

本次介绍使用Flume+kafka+storm+mysql的实时日志监控告警系统，代码部分比较多，会放在一个下载的连接里面，可以免费下载。

---

需求

在软件开发中国，上线运行时经常会出现一些报错，但是我们如果不能进行有效的实时监控，及时的处理，经常会带来巨大损失。为了保证异常的即使处理，我们设计一套系统，对产生的日志进行实时的监控，放出现异常或者指定的信息的时候，给我们的对应工作人员发送邮件和短信提醒，同时记录异常的信息。做到线上异常的实时监控。

基本框架

基本的框架是：Flume+kafka+storm+redis

• flume各个模块的功能订单，支付，用户系统

• kafka集群数据量,预估容量，topic数量，system-log 六个分区，两个副本

• storm消费数据，得到每条数据和AppId，判断每条消息是否包含关键字（比如error来源为数据库）如果包含错误信息，系统预警，短信或者邮件（数据库需要存入的信息&