DEEP AUTOENCODING GAUSSIAN MIXTURE MODEL FOR UNSUPERVISED ANOMALY DETECTION

ICLR-2018

摘要

对于多维或高维数据的无监督异常检测在基础机器学习研究和工业应用中都是非常重要的,其密度估计是核心。虽然先前基于维数降低随后密度估计的方法取得了丰硕成果,但它们主要受到模型学习的解耦,其优化目标不一致,并且无法在低维空间中保留基本信息。在本文中,我们提出了深度自动编码高斯混合模型(DAGMM)用于无​​监督异常检测。我们的模型利用深度自动编码器为每个输入数据点生成低维表示和重建误差,并进一步输入高斯混合模型(GMM)。 DAGMM不是使用解耦的两阶段训练和标准的期望最大化(EM)算法,而是以端到端的方式同时优化深度自动编码器和混合模型的参数,利用单独的估计网络来促进混合模型的参数学习。联合优化很好地平衡了自动编码重建,潜在表示的密度估计和正则化,有助于自动编码器逃离不太吸引人的局部最优,并进一步减少重建错误,避免了预训练的需要。几个公共基准数据集的实验结果表明,DAGMM明显优于最先进的异常检测技术,并且基于标准F1得分可实现高达14%的改进。

Introduction

在本文中,我们提出了深度自动编码高斯混合模型(DAGMM),这是一个深度学习框架,从几个方面解决了无监督异常检测中的上述挑战。

首先,DAGMM在低维空间中保留输入样本的关键信息,该低维空间包括由维数减少和诱导重建误差发现的减小维度的特征。从图1所示的例子中,我们可以看到异常在两个方面与正常样本不同:(1)异常可以在缩小的维度中显着偏离,其特征以不同的方式相关; (2)与正常样本相比,异常难以重建。与仅涉及具有次优性能的方面之一(Zimek等人(2012); Zhai等人(2016))的现有方法不同,DAGMM利用称为压缩网络的子网络通过自动编码器执行降维,通过连接来自编码的减少的低维特征和来自解码的重建误差,为输入样本准备低维表示。

其次,DAGMM在学习的低维空间上利用高斯混合模型(GMM)来处理具有复杂结构的输入数据的密度估计任务,这对于现有工作中使用的简单模型来说相当困难(Zhai等人(2016) ))。虽然GMM具有强大的能力,但它也在模型学习中引入了新的挑战。由于GMM通常通过诸如期望最大化(EM)(Huber(2011))等交替算法来学习,因此难以进行维数降低和密度估计的联合优化,有利于GMM学习,GMM学习通常退化为传统的两步法做法。为了解决这一培训挑战,DAGMM利用称为估计网络的子网络,**该子网络从压缩网络获取低维输入并输出每个样本的混合成员预测。**利用预测的样本成员资格,我们可以直接估计GMM的参数,便于评估输入样本的能量/可能性。通过同时最小化来自压缩网络的重建误差和来自估计网络的样本能量,我们可以联合训练直接帮助目标密度估计任务的维数减少组件。

最后,DAGMM对端到端培训很友好。通常,通过端到端训练很难学习深度自动编码器,因为它们很容易陷入不那么有吸引力的局部最佳状态,因此广泛采用预训练(Vincent et al。(2010); Yang et al。( 2017a);谢等人(2016))。但是,预训练限制了调整降维行为的可能性,因为很难通过微调对训练有素的自动编码器进行任何重大改变。我们的实证研究表明,DAGMM通过端到端训练得到了充分的学习,因为估计网络引入的正则化极大地帮助压缩网络中的自动编码器摆脱了不太吸引人的局部最优。几个公共基准数据集的实验表明,DAGMM具有优于现有技术的卓越性能,异常检测的F1得分提高了14%。此外,我们观察到端到端训练中DAGMM中自动编码器的重建误差与其预训练对应物的重建误差一样低,而来自估计网络没有正则化的自动编码器的重建误差保持不变高。此外,端到端训练的DAGMM明显优于依赖于预先训练的自动编码器的所有基线方法。

OVERVIEW

深度自动编码高斯混合模型(DAGMM)由两个主要部分组成:压缩网络和估计网络。 如图2所示,DAGMM的工作原理如下:(1)压缩网络通过深度自动编码器对输入样本进行降维,从缩小的空间和重建误差特征中准备它们的低维表示,并将表示提供给 随后的估算网络; (2)估计网络采用馈送,并在高斯混合模型(GMM)的框架中预测它们的似然/能量。
在这里插入图片描述

### 回答1: 高斯混合模型 (Gaussian Mixture Model) 是一种生成模型,假设数据是由多个高斯分布生成的,并使用最大似然估计或EM算法来估计模型参数。它通常用于聚类分析,并在许多领域中都得到了广泛应用,如图像分析、信号处理、生物信息学等。 ### 回答2: 高斯混合模型是一种概率模型,用于对数据进行建模和聚类。它由多个高斯分布混合而成,每个高斯分布代表一个聚类。高斯混合模型适用于具有复杂数据分布的场景,能够对数据的形状、密度和方差等进行建模。 在高斯混合模型中,每个高斯分布都有自己的均值和协方差矩阵。通过选择适当的混合模型参数,可以使得模型能够更好地拟合数据。模型的参数估计可以使用最大似然估计或其他优化算法进行求解。 高斯混合模型可以用于聚类分析,在聚类过程中,模型根据数据分布的不同,将数据点归属于不同的聚类。基于高斯混合模型的聚类方法可以灵活地适应不同形状的数据分布,能够发现非球形和重叠的聚类。 此外,高斯混合模型也可以用于生成新的数据样本。根据已经学得的模型参数,可以从高斯分布中随机采样,生成与原始数据相似的新数据样本。 总之,高斯混合模型是一种常用的概率模型,可以用于数据的建模、聚类和生成。它具有灵活性和准确性,适用于各种不同类型的数据分析问题。 ### 回答3: 高斯混合模型(Gaussian Mixture Model,GMM)是一种用于对数据进行建模和聚类的统计模型。GMM可以看作是多个高斯分布的线性组合,每个高斯分布表示一个聚类。 GMM的基本思想是假设数据是由多个高斯分布组成的混合体。通过估计每个高斯分布的均值和方差,以及混合系数(表示每个分布的权重),可以得到对数据进行建模的 GMM。这样,可以通过计算每个数据点对于每个高斯分布的概率来进行聚类。具体而言,对于给定数据点,计算其属于每个高斯分布的概率,然后根据概率大小将其归为相应的聚类。 GMM的参数估计可以使用最大似然估计(Maximum Likelihood Estimation,MLE)方法。通过迭代优化,可以找到一个局部最优解,使得 GMM 最大化观测数据的似然函数。 GMM有以下几个特点:首先,GMM允许数据点属于多个聚类。每个聚类的权重是小于等于1的概率。其次,GMM对数据的分布形态没有假设,而是通过调整高斯分布的均值和方差来适应数据。最后,GMM可以解决由于观测噪声、缺失数据或异常值引起的数据不完全性和不准确性的问题。 GMM在模式识别、数据挖掘和图像处理等领域广泛应用,例如人脸识别、语音识别和文本分类等。它可以根据数据的分布情况自动进行聚类分析,并可以用于特征提取、数据压缩和异常检测等任务。然而,GMM也存在一些缺点,比如对于大规模数据集的计算复杂度较高,并且对初始参数敏感,需要进行适当选择。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值