【产品分享】数字化转型趋势下，如何实现日志统一管理？

 企业日志管理面临的挑战

 

背景

早期在系统规模较小的时候，系统的运维主要靠运维人员手工完成。随着业务的急剧膨胀、微服务化，给运维带来了巨大的挑战，日志数据管理也面临各种问题：

• 日志不集中

  日志散落在不同的设备和组件上，排查问题需要登录到相应设备；

• 查看方式落后

  大部分情况采用终端命令查看，在集群、分布式、微服务模式下，日志查找麻烦而且耗时；

• 日志无法联合分析

  服务请求需要横跨网络、主机、数据库、应用，传统模式下无法将所有日志数据组合进行联合分析；

• 数据无权限控制

  很多系统故障需要交由外部人员查看原始日志，带来一定的安全风险；

• 故障感知迟滞

  往往都在用户反馈后才发现系统、应用故障，缺乏基于日志的监控告警，无法提前感知故障；

• 缺乏基于日志的分析挖掘

  日志数据包含大量的应用和业务信息，基于日志的分析挖掘可以为运维和运营驱动决策。

 

蓝鲸日志平台

 

面对业务系统微服务化给日志管理带来的巨大挑战，蓝鲸日志平台应运而生，蓝鲸日志平台是为解决分布式架构下日志统一收集、清洗、存储、分析、查询困难等问题的一款日志产品，以下是日志平台的业务流程：

▲  日志平台业务流程

 

产品架构

 

蓝鲸日志平台已实现了日志统一管理需求：

日志采集：对接蓝鲸CMDB，使用日志采集器实现Linux、Windows、AIX系统上日志数据的统一采集上报；

日志清洗&