【文章学习系列之模型】Feature Encoding with AutoEncoders for Weakly-supervised Anomaly Detection的无名模型

文章概况

《Feature Encoding with AutoEncoders for Weakly-supervised Anomaly Detection》是2021年发表于IEEE Transactions on Neural Networks and Learning Systems的一篇文章，该文章将数据转换为一种更有意义的表征，并利用少有的数据标注以弱监督的方式进行异常检测。

文章链接
代码链接

模型结构

模型由一个特征编码器和一个异常评分生成器组成。其中编码器将原始数据抽象为三组特征，分别为隐藏表征$h_i$、重构残差向量$r_i$和重构误差$e_i$，上图绿色部分所示。异常评分生成器则根据这三者进行特征提取获得最终评分。

三组特征共同描述了异常样本如何偏离正常样本。异常情况主要表现在以下几种情况：大的坐标误差，异常的重构误差，异常的残差向量方向，或者若干者的任意组合。此外，重构误差只有一维，其特征可能被其他两个高维特征覆盖，因此作者将重构误差作为一个额外的维度添加到异常评分生成器的所有层中，从而强调重构误差的重要性。

联合损失函数

$L_e={\sum }_i(1-y_i)e_i+\lambda y_{i}max(0,a_0-e_i)$

目标函数的第一部分是最小化重构误差。第二部分是为了以设定阈值$a_0$的方式来区分异常样本和正常样本，理想情况下第二项为0。$\lambda$是一个超参，用来平衡损失函数两个部分的贡献。

训练流程

1.模型预训练：
只训练模型中特征编码器的那部分，选择均方根误差作为损失函数。数据则是选取小部分相同数目的异常样本和正常样本。需要注意的是，异常样本使用过采样的方式选取。

2.模型正式训练：
对整个模型进行训练，使用联合损失函数作为损失函数。数据则是利用所有数据。

实验结果

主要结果

作者选用多种数据集进行测试。

由上图可以看出，所提方法占据了最多的优势项，尤其在AUC-PR指标中，表明相对于其他四种方法，本文方法确实具有一定的效果。

样本效率检验

上面两幅图分别为在不同数目带标签的异常样本下的AUC-PR指标的对比图和在不同数目带标签的异常样本下的AUC-ROC指标的对比图。

随着数据的增加，多数指标均处于升高状态，AUC-PR的对比中所提方法具有较为显著的优势，AUC-ROC的对比中所提方法也表现不俗。总体而言，在对少量有限异常标签的实验中，本文模型效果更好。

同为弱监督的方法（DevNet, Deep SAD），所提方法取得最好的性能；和监督方法（FCN）以及无监督方法（DAGMM）对比，所提方法始终遥遥领先。

消融实验

作者对编码策略、损失函数、超参、训练流程、重构误差增强操作进行了消融实验，已经非常全面了。

编码策略

作者所提编码思路通过映射等思想转换而来，其特征提取具有一定的可解释性。经过对比，具有完全体$h.r.e$编码策略的实验结果性能最优。

为了确认效果的提升不是单纯因为参数量的增加导致，作者设置了纯MLP模型变体，保证了接近的模型参数，最终通过实验论证了所提编码策略在性能提升上具有巨大的作用。

损失函数

作者比较了所提loss和不强制重构误差最小化的实验结果，发现后者使得实验性能略微下降，这表明重构误差最小化是必不可少的。

超参数

作者主要讨论了损失函数处的超参数$a_0$和$\lambda$。前者是异常阈值，后者是联合损失函数的平衡系数。


对于不同的数据集，$a_0$为5，$\lambda$为1时，模型性能最优。这表明超参数的选择和数据集异同无关，超参的设置具有一定的稳定性。

训练流程

训练过程的异同主要体现在是否有预训练过程。通过对比可以看出，预训练的过程是不可缺少的，对模型性能的提升有着非常大的作用。

重构误差增强操作

在原本的方法中，作者将重构误差添加至生成器的每一层中以避免出现重构误差特征被覆盖的情况。为了对比该操作的有效性，作者仅将重构误差添加至生成器的第一层与原先方法对比。

可以看出，仅添加在第一层的结果却是不如本文所提方法，证明了重构误差增强操作的必要性。

总结

第一眼看这篇论文，便感觉和DAGMM类似，深入去了解后，会发现这篇文章只是结构类似，而其余内容则从不同的角度入手，比如弱监督、新编码策略等。这篇文章较好地解决了少量异常数据标记的问题，在具有少量异常数据标签的情况下，可以用这个方法试一试。