Log-based Anomaly Detection Without Log Parsing

供稿：李东雷

Le V H ,  Zhang H . Log-based Anomaly Detection Without Log Parsing[J].  2021.

现有的基于日志的异常检测方法通过实证研究，发现现有的基于日志的异常检测方法受到日志解析错误的显着影响，这些错误是由以下两个原因引起的：

1）OOV（词汇外）词

2）语义误解。

为了解决现有方法的局限性，提出了 NeuralLog，这是一种新的基于日志的异常检测方法，不需要日志解析。

NeuralLog 提取原始日志消息的语义并将它们表示为语义向量。 然后使用这些表示向量通过基于 Transformer 的分类模型来检测异常，该模型可以从日志序列中捕获上下文信息。 实验结果表明，所提出的方法可以有效地理解日志消息的语义并获得准确的异常检测结果。 总体而言，NeuralLog 在四个公共数据集上取得了大于 0.95 的 F1 分数，优于现有方法。

主要贡献

• 对日志解析错误进行了实证研究
• 提出了 NeuralLog，这是一种新颖的基于深度学习的方法，可以在不进行日志解析的情况下检测系统异常。
• 使用公共数据集评估了 NeuralLog。