【案例】--日志管理分析平台案例

一、前言

目前接触的项目系统架构如上，属于分布式微服务架构。规模、QPS等特点决定它算不上大规模高并发高性能企业级的分布式微服务架构，因此一些业务场景要求的技术栈选型也是因地制宜。

当前项目要求，需要对应日志管理分析能力，这里不仅仅需要收集/搜索系统日志(info、warn、error等)，而且还需要根据不同业务操作要求，来处理特别场景的日志，如接口调用记录明细、接口调用预警【设置单个接口调用次数阈值、单个接口被单个用户调用次数阈值等等】、日志报表统计图等。

流行的ELK日志平台，为什么不选择？
主流的日志采集系统ELK即ElasticSearch、Logstash和Kibana，它适合企业级分布式大型系统，提供各种采集方案、业务数据分析监控等。在功能上，大大满足我们业务需要，但它需要额外部署组件，且一些定制化场景的业务、报表等不能满足。

要实现本系统的日志系统架构是怎样？

各业务系统按照要求接入对应类型日志的方法，将数据采集到kafka组件，由专门的日志采集系统来消费，非结构化数据存入ES，方便进行后续逻辑处理。

1.1、日志架构思考

如何去