Unsupervised Anomaly Detection via Variational Auto-Encoder for Seasonal KPIs in Web Applications

论文链接：https://arxiv.org/pdf/1802.03903.pdf
关键词：Donut算法

---

---

网络结构和随机变量

• prior:
  • z: $p_\theta(z) \sim N(0, I) $
  • x: vector of : $x_{t-W+1},…,x_t $
• posterior:
  • x: $p_{\theta }(x|z)=N({\mu }_x,{\sigma }_x^{2}I)$
  • z: $q_{\varphi }(z|x)=N({\mu }_z,{\sigma }_z^{2}I)$
• hidden features:(通过Hidden Layers–full-connected layer【简单的结构可以更好的解释网络】进行提取）
  • x：$f_{\varphi }(x)$
  • z: $f_{\theta }(z)$
• Gaussian parameters:(通过hidden feature进行生成）
  • linear layers：
    • ${\mu }_x=W_{{\mu }_x}^T{f}_{\theta }(z)+b_{{\mu }_x}$
    • ${\mu }_z=W_{{\mu }_z}^T{f}_{\varphi }(x)+b_{{\mu }_z}$
  • SoftPlus：(加上一个很小的非负数$ϵ$）
    • ${\sigma }_x=SoftPlus[W_{{\sigma }_x}^T{f}_{\theta }(z)+b_{{\sigma }_x}]+ϵ$
    • ${\sigma }_z=SoftPlus[W_{{\sigma }_z}^T{f}_{\varphi }(x)+b_{{\sigma }_z}]+ϵ$
    • $SoftPlus[a]=log[exp(a)+1]$

---

模型重构常规模式的步骤：

这幅图体现的过程是，通过使用模型，对测试集中有missing points的数据进行重构还原，更具体的细节可以在Bagel算法论文中看到，如下图：

• 在训练过程中，并注入数据填补缺失的内容，而是简单的将其值设置为0
• 上面的数据注入，实在测试集上，仅当模型训练完，才进行缺失数据的注入（使用Donut生成的片段）

---

训练细节

• SGVB 算法
  • re-paramerterization:
    • 原本： $z\sim N({\mu }_z,{\sigma }_z^{2}I)$
    • 改为：$\xi \sim N(0,I),z(\xi )={\mu }_z+\xi \cdot {\sigma }_z$

目标函数：
$$\tilde{L}(x)=E_{q_{\varphi }(z|x)}[\sum _{w=1}^W{\alpha }_{w}log{p}_{\theta }(x_w|z)+\beta log{p}_{\theta }(z)-log{q}_{\varphi }(z|x)]$$

• ${\alpha }_w=1时表示x_w不是异常或者缺失点；{\alpha }_w=0，则表示x_w是非正常点，直接将异常排除$
• $\beta =({\sum }_{w=1}^W{\alpha }_w)/W，当正常点越多，噪点所起作用也越大$
• 注意到，${\alpha }_w$ 其实表示人为的标注，为0的值越多表示人工标注越多，当然如果没有任何标注，算法也能继续运行。这一点使得该算法能很好的处理少量标注的情况
• 函数E的计算方式如下：$E_{q_{\varphi }(z|x)}[x]=\frac{1}{N}{\sum }_i^N{x}^i$, N为$q_{\varphi }(z|x)$的样本数