LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection

Basic Information:

• Title: LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection (LogFormer：一个用于日志异常检测的预训练和调整流水线)
• Authors: Hongcheng Guo, Jian Yang, Jiaheng Liu, Jiaqi Bai, Boyang Wang, Zhoujun Li, Tieqiao Zheng, Bo Zhang, Junran Peng
• Affiliation: State Key Lab of Software Development Environment, Beihang University, Beijing, China (中国北京北航软件开发环境国家重点实验室)
• Keywords: Log anomaly detection, Transformer, pre-training, adapter-based tuning, Log-Attention module
• URLs: Paper , GitHub: None

论文简要 :

• LogFormer提出了一个基于Transformer的统一框架，通过预训练和适配器调整阶段，改善了跨领域日志检测的泛化能力，并在多个数据集上取得了有效的性能提升。

背景信息:

• 论文背景: 随着大规模IT系统的快速发展，对高质量云服务的需求日益增加，但现有的日志异常检测模型在处理多领域日志时存在泛化能力差的问题。
• 过去方案: 传统的深度学习模型主要集中于单一领域日志的语义提取，缺乏对多领域日志共享语义的考虑，导致模型在未知领域上的性能不佳。
• 论文的Motivation: 为了解决现有模型在多领域日志检测中的泛化能力不足的问题，本文提出了LogFormer框架，通过预训练和适配器调整策略，实现了日志数据的跨领域知识传递，从而显著提升了检测性能。

方法:

a. 理论背景:

LogFormer是一个用于日志异常检测的预训练和调整流水线，包括预训练阶段和基于适配器的调整阶段。在预训练阶段，模型使用预训练语言模型（具体来说是Sentence-BERT）在源域数据集上提取日志序列的特征。这一阶段旨在通过监督二元分类学习跨不同异常的共同表示。随后，模型通过轻量级适配器将预训练的编码器模块转移到目标域，同时冻结预训练编码器和日志注意力层的参数。这种方法在适应过程中最小化了可训练参数的数量，同时保留了语义信息。分类器采用单一线性层，两个阶段均使用二元交叉熵（BCE）损失进行训练。

b. 技术路线:

1. 使用Sentence-BERT进行预训练以提取日志序列的特征。
2. 集成轻量级适配器到预训练的编码器模块，用于在目标域数据上进行调整。
3. 冻结预训练编码器和日志注意力层的参数，以保留语义信息。

结果:

a. 详细的实验设置:

在HDFS、BGL和Thunderbird数据集上进行了实验，比较了LogFormer与DeepLog、LogAnomaly等方法的性能。实验中使用了二元交叉熵（BCE）损失进行训练。

b. 详细的实验结果:

1. 在表2中展示了LogFormer在不同数据集上的性能指标，包括F1分数。在所有数据集上，LogFormer consistently achieves the highest F1 score。
2. 表3展示了LogFormer在HDFS、BGL和Thunderbird数据集上的训练和测试时间消耗，显示出相对于其他方法更低的时间消耗。
3. 表4比较了在HDFS和Thunderbird数据集上，使用Fine-Tuning和基于适配器调整（Adapter-Based Tuning）两种方法对LogFormer进行调优的结果。适配器调整在减少可训练参数的同时，实现了略高的F1分数。
4. 表5深入比较了LogFormer中自注意力（Self-Attention）和日志注意力（Log-Attention）模块在HDFS、BGL和Thunderbird数据集上的F1分数。结果表明，Log-Attention在异常检测中表现更优。
5. 最后，表6探讨了不同适配器变体（如串行适配器、并行适配器和LoRA）在HDFS、BGL和Thunderbird数据集上的F1分数。结果显示，所有适配器类型显著提高了性能，突显了适配器调整阶段的有效性。