日志异常检测详细整理，看这一篇就够了（附各项目代码链接）

一、背景

通信网络中部署的大规模设备在运行过程中产生海量日志。

日志异常检测(Log Anomaly Detection,LAD)实时监控日志，识别并推荐根因异常，辅助运维人员定位故障根因，提升运维效率。

日志是一种时序文本数据，由时间戳和文本消息组成，实时记录了业务的运行状态。通过收集并分析日志，可以发现或预知网络中已发生或潜在的故障。

二、难点

1、目前日志规范不统一。不同类型的设备打印出的日志格式也不同，且日志数据呈现出非结构化的特点。主要体现在日志时间格式不统一，日志记录的级别不统一，不同厂家自定义的专业词汇或缩略语不统一。这些问题增加了日志分析的难度。

2、现代网络系统规模庞大，每小时打印日志约50Gb(约1.2亿~ 2亿行)的量级，若依靠人工分析日志数据来识别网络中是否发生了故障则效率低下。 因此有必要引入AI算法进行日志异常检测，以达到降低运维成本，显著提升业务体验的目的。

三、日志解析

日志处理与特征提取主要有日志模板挖掘技术和日志特征提取技术两种，用以从降低日志文本的异构复杂性、从海量日志中提取有价值的信息。

日志模板挖掘关注于日志中的常量部分，日志特征提取则关注于日志中的变量部分或其他特征。

日志模板挖掘技术可以划分为基于静态代码分析、基于频繁项集挖掘和基于聚类的日志模板挖掘技术；

日志特征提取技术可以划分为基于自然语言处理的日志特征提取技术、基于规则的结构化日志信息提取技术和基于统计模型的日志特征提取技术。

日志解析的目标是将原始日志消息转换为结构化的日志消息。

1、基于固定深度树的在线日志解析方法Drain

该方法能够以流的方式准确、高效的解析原始日志信息。可以从原始日志消息中自动提取日志模板，并将其分割为互不关联的日志组。使用一个具有固定深度的解析数来指导日志组搜索过程，这有效地避免了构造一个非常深且不平衡的树。另外，专门设计的解析规则被压缩编码在解析树节点中。

源码：https://github.com/logpai/Drain3

数据集：https://github.com/logpai/loghub

四、日志数据异常检测

现有的基于日志数据的异常检测方法主要分为3 类，分别是基于图模型的异常检测、基于概率分析的异常检测和基于机器学习的异常检测。

基于图模型的异常检测对日志的序列关系、关联关系以及日志文本内容进行建模&#