LogRobust Robust Log-Based Anomaly Detection on Unstable Log Data

Robust Log-Based Anomaly Detection on Unstable Log Data

对不稳定的日志数据进行鲁棒的基于日志的异常检测

发表于：ESEC/FSE ’19
原文/下载链接： https://dl.acm.org/doi/pdf/10.1145/3338906.3338931
团队：南京大学，微软中国研究院

---

1 主要内容
日志被广泛用于大型复杂的软件密集型系统中的故障排除。基于日志的异常检测已经有了很多研究。现有的检测方法主要是利用从历史日志中提取的日志事件数据构建检测模型。但是现有的方法在实践中效果不佳。这些方法采用封闭世界假设，即假设日志数据随时间的变化是稳定的，并且已知不同的日志事件集。然而，我们的实证研究表明，在实际操作中，日志数据往往包含以前未见过的日志事件或日志序列。日志数据的不稳定性主要来自两个方面:一是日志语句的变化，二是日志数据的噪声。
本文提出了一种新的基于日志的异常检测方法——LogRubust。LogRubust 提取日志事件的语义信息，并表示成向量。然后，它利用一个基于注意力的Bi-LSTM模型来检测异常，该模型能够捕获日志序列中的上下文信息，并自动了解不同日志事件的重要性。通过这种方式，logRubust能够识别和处理不稳定的日志事件和序列。

关注问题
当前的日志检测算法：通常采用提取日志模板的方法进行日志的语义处理，对于没有出现过的日志事件缺乏鲁棒性。而现实世界中的日志数据是不稳定的（不断变化）：
1.日志语句的演变（开发人员对日志模板的修改）
2.日志采集中的噪声