本文介绍了如何利用Flink和Drools构建实时日志处理服务，解决日志格式不统一和提取业务价值的问题。系统通过kafka中转各类日志，Flink消费并解析日志，然后存储到Elasticsearch，同时统计信息写入Redis进行监控。关键模块包括eagle-api、eagle-common和eagle-log，其中eagle-log实现了对接Kafka、ES和Redis，并优化了内存消耗。使用Broadcast状态处理Drools规则，实现数据处理逻辑的配置化和动态化。
背景
日志系统接入的日志种类多、格式复杂多样，主流的有以下几种日志：
-
filebeat采集到的文本日志，格式多样
-
winbeat采集到的操作系统日志
-
设备上报到logstash的syslog日志
-
接入到kafka的业务日志
以上通过各种渠道接入的日志，存在2个主要的问题：
-
格式不统一、不规范、标准化不够
-
如何从各类日志中提取出用户关心的指标，挖掘更多的业务价值
为了解决上面2个问题，我们基于flink和drools规则引擎做了实时的日志处理服务。
系统架构
架构比较简单，架构图如下：
各类日志都是通过kafka汇总，做日志中转。
f
订阅专栏 解锁全文
扫一扫
1273
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
