微服务海量日志怎么处理，我不允许你还不知道这款工具

背景

在企业级的微服务环境中，跑着成百上千个服务都算是比较小的规模了。在生产环境上，日志扮演着很重要的角色，排查异常需要日志，性能优化需要日志，业务排查需要业务等等。然而在生产上跑着成百上千个服务，每个服务都只会简单的本地化存储，当需要日志协助排查问题时，很难找到日志所在的节点。也很难挖掘业务日志的数据价值。

那么将日志统一输出到一个地方集中管理，然后将日志处理化，把结果输出成运维、研发可用的数据是解决日志管理、协助运维的可行方案，也是企业迫切解决日志的需求。

我们的解决方案

通过上面的需求我们推出了日志监控系统。

• 日志统一收集、过滤清洗。
• 生成可视化界面、监控，告警，日志搜索。

功能流程概览

• 在每个服务节点上埋点，实时采集相关日志。
• 统一日志收集服务、过滤、清洗日志后生成可视化界面、告警功能。

我们的架构

1、日志文件采集端我们使用filebeat,运