【文章学习系列之模型】DAGMM

文章概况

《Deep Autoencoding Gaussian Mixture Model for Unsupervised Anomaly Detection》是2018年发表于ICLR的一篇论文,该论文提出一种端到端的无监督异常检测方法DAGMM,取得了不错的效果。

文章链接
代码链接

模型结构

在这里插入图片描述
深度自编码高斯混合模型(DAGMM)主要由压缩网络和评估网络两大部分组成。

上图左侧橙框,压缩网络通过自编码器对输入样本进行降维,从降维空间和重构误差特征中提取低维表示,并将表示提供给后续的评估网络

上图右侧红框,评估网络获取压缩网络提供的数据,并在高斯混合模型 (GMM) 框架中预测它们的可能性/能量。

压缩网络的特征提包含两个部分:由深度自动编码器学习到的低维特征 Z c Z_c Zc和重构误差得到的低维特征 Z r Z_r Zr,随后 Z c Z_c Zc Z r Z_r Zr组成 Z Z Z,提供给后续的评估网络,并经过多层全连接最终得到模型的输出值 π ^ \hat{π} π^,其中包含了经过 s o f t m a x softmax softmax后的类别概率 γ ^ \hat{γ} γ^

在这里插入图片描述
获得模型的输出结果后,根据上图所示的多元高斯概率密度相关公式和评估能量公式,可以得到当前样本的能量,并通过预先选择的阈值预测高能量样本为异常。

损失函数

在这里插入图片描述
损失函数包含三个部分。

第一个是重构误差。若重构误差较小,则表明低维数据能够保存原始数据的关键信息并进行高效重构。

第二个是样本能量。通过最小化样本能量寻找压缩网络和评估网络的最佳组合。

第三个是正则项。协方差矩阵的每个元素都需要计算期望值,而期望值的计算需要大量的数据,当混合模型的点数不足时,协方差矩阵计算容易出现偏差,出现奇异性问题,因此添加一项正则项,一定程度上减弱奇异性带来的影响。

此外 λ \lambda λ为超参数,用于平衡损失函数的三个部分。

实验结果

作者没有使用预训练的方式对模型进行训练,而是采用端到端的方式训练整个网络,因为预先训练好的压缩网络性能有限,不利于后续评估任务的训练,相反,压缩网络和评估网络的端到端训练可以相互提高性能。
在这里插入图片描述
作者使用多种模型和变体在多种数据集中进行对比,实验表明本文所提方法取得不错的检测效果。

实验分析

在这里插入图片描述
为了测试模型抗污染能力,作者先选取50%的随机样本,再在剩下的样本中选择所有的正常样本和c%的异常样本。正如所料,随着异常样本占比增加,所有方法的检测性能均产生了显著的下降,在5%时,本文所提方法的各项指标依旧保持在0.85左右,远远优于其他方法的所有试验结果。这表明通过端到端训练学习到的DAGMM在公共基准数据集上达到了最先进的精度,并为无监督异常检测提供了一种很有前途的替代方法。

在这里插入图片描述
上图可视化展示了DAGMM更好地将红蓝点进行划分,而其他三种表现类似,蓝红错杂程度更高。

总结

这篇论文的模型结构和训练方式对后来的研究者有着深远的影响,不少异常检测的无监督研究依旧是沿用这一套路线继续探索,并取得了不错的效果。从以下三个方面解决了无监督异常检测方面的挑战。
1.DAGMM在低维空间中保留了输入样本的关键信息,包括降维特征和重构误差特征。
2.DAGMM利用学习到的低维空间上的高斯混合模型(GMM)来处理具有复杂结构的输入数据的密度估计任务。
3.利用端到端的训练方式,DAGMM的估计网络引入的正则化极大地帮助压缩网络中的自动编码器避免陷入局部最优。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

清流自诩

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值