智能运维之日志语义异常检测

# 技术黑板报 # 第五期

推荐阅读时长：8min

云智慧智能研究院着眼于运维人员在日志分析方面所面临的问题与实际需求，以日志语义异常检测为切入点，进行了相关的分析与实验。对在智能运维中如何进行日志分析，给出了基于日志语义异常检测的答案。

章节目录

一、背景

二、问题与挑战

三、基于语义异常的日志分析

四、总结

一、背景

日志在IT运维中扮演着重要角色。日志记录了软件系统运行时的详细信息，蕴含着丰富的系统信息。系统开发人员与运维人员可以根据日志监控系统剖析系统的异常行为与错误。因此，如何进行日志的异常检测也成为智能运维领域亟待解决的问题，日志异常检测可以分为语义异常（执行结果）、执行异常（执行日志序列）与性能异常（执行时间）。本文针对日志语义异常检测进行了分析与实验。

二、问题与挑战

1.日志异常类型

日志记录着系统在某个时间点执行了某些操作以及相应操作的结果。因此，当某些错误发生导致系统异常时，日志中也会有相应异常记录。日志中记录的异常信息可以帮助系统开发人员与运维人员监控系统，并剖析系统的异常和错误，从而快速定位异常、修复异常，以维护系统的稳定性。因此，如何自动判断错误日志中包含的异常类型成为亟待解决的问题。

实际上，虽然IT系统/服务出现异常的场景众多、情况复杂，但是仍然可以对异常类型进行大致分类，如网络异常、数据库异常、硬件异常、I/O异常、操作系统异常等。每一个类型又可以进行细分，以硬件异常为例，可能存在CPU异常、磁盘空间不足、磁盘损坏等硬件上的异常。因此，