AIOps探索：基于VAE模型的周期性KPI异常检测方法——VAE异常检测

最新推荐文章于 2024-10-02 06:15:56 发布

weixin_33923762

最新推荐文章于 2024-10-02 06:15:56 发布

阅读量3.2k

点赞数 6

文章标签：运维人工智能 python

本文介绍了智能运维领域的周期性KPI异常检测，通过深入解析VAE（变分自编码器）模型，展示了如何利用Keras实现无监督异常检测。VAE在降噪和防止过拟合方面优于AutoEncoder，适用于KPI异常点的识别。文章探讨了VAE模型的结构、工作原理，并给出了代码实现示例，同时也指出了该方法在工业界应用时的挑战，如需要为不同KPI训练独立模型和设置异常阈值的问题。

摘要由CSDN通过智能技术生成

AIOps探索：基于VAE模型的周期性KPI异常检测方法

from:jinjinlin.com

作者：林锦进

前言

在智能运维领域中，由于缺少异常样本，有监督方法的使用场景受限。因此，如何利用无监督方法对海量KPI进行异常检测是我们在智能运维领域探索的方向之一。最近学习了清华裴丹团队发表在WWW 2018会议上提出利用VAE模型进行周期性KPI无监督异常检测的论文：《Unsupervised Anomaly Detection via Variational Auto-Encoder for Seasonal KPIs in Web Applications 》[1]（以下简称为Dount）。基于Dount论文的学习，本文将介绍如何使用Keras库，实现基于VAE模型的周期性KPI异常检测方法，包括其思路、原理与代码实现，帮助大家理解这个方法。

背景介绍：

在AI in All的时代，工业界中的运维领域提出了：智能运维（AIOps, Artificial Intelligence for IT Operations）这个概念，即采用机器学习、数据挖掘或深度学习等方法，来解决KPI异常检测、故障根因分析、容量预测等运维领域中的关键问题。

其中KPI异常检测是在运维领域中非常重要的一个环节。KPI（key performance indicators）指的是对服务、系统等运维对象的监控指标（如延迟、吞吐量等）。其存储的形式是按其发生的时间先后顺序排列而成的数列，也就是我们通常所说的时间序列。从运维的角度来看，存在多种不同类型的KPI，周期性KPI是其中一种典型的KPI，其特点表现为具有周期性，如下图：

要进行KPI异常检测，首先我们要定义一下什么是异常。如上图所示，我们将KPI的异常点定义为超过期望值一定范围的点，而在期望值的小范围内波动的点我们将其认为是噪声。对周期性KPI的异常检测在工业界和学术界已有不少探索，本文将介绍基于深度学习模型VAE的无监督周期性KPI异常检测方法。

正文：

AutoEncoder

因为VAE跟AutoEncoder在网络整体结构上相似，都分为Encoder和Decoder模型，那么在了解VAE之前，我们先了解什么是AutoEncoder模型。

AutoEncoder的意思是自编码器，这个模型主要由两个部分组成：encoder和decoder，可以把它理解为两个函数：z = encoder(x), x = decoder(z)。在AutoEncoder模型的思想中，我们期望能够利用encoder模型，将我们的输入X转换到一个对应的z，利用decoder模型，我们能够将z还原为原来的x，可以把AutoEncoder理解为有损的压缩与解压。

AutoEncoder模型有什么用呢？有两个主要功能：

降噪
将高纬的特征转为低纬度的特征(从X到z)。

要实现一个AutoEncoder其实非常简单(其实就是单个隐藏层的神经网络)，有接触过深度学习的人应该都可以理解：

input = Input(shape=(seq_len,)) encoded = Dense(encoding_dim, activation='relu')(input) decoded = Dense(seq_len)(encoded) autoencoder = Model(input, decoded)

我们先来考虑一下能否用AutoEncoder进行KPI异常检测，以及它有什么缺点。因为AutoEncoder具有降噪的功能，那它理论上也有过滤异常点的能力，因此我们可以考虑是否可以用AutoEncoder对原始输入进行重构，将重构后的结果与原始输入进行对比，在某些点上相差特别大的话，我们可以认为原始输入在这个时间点上是一个异常点。

下面是一个简单的实验结果展示，我们训练了一个输入层X的维度设置为180(1分钟1个点，3小时数据)，Z的维度设置为5(可以理解为原始输入降维后表达)，输出成X的维度设置为180的AutoEncoder模型，并且测试集的数据进行重构（滑动窗口形式，每次重构后只记录最后一个点，然后窗口滑动到下一个时间点），能够得到以下结果：

基于AutoEncoder的周期性KPI异常检测：

上面提到，AutoEncoder具有降噪功能，那它怎么降噪呢？这里简单举一个例子：假设我们现在训练出来的模型可以得到这样的映射关系[1, 2](X)->[1](z)->[1 ,2]X_r, 其中[1, 2]表示二维向量, [1]表示一维向量，X_r表示重构后的X。这个例子表示了一个理想的AutoEncoder模型，它能将[1,2]降维到[1], 并且能从[1]重构为[1,2]。接下来，假设我