（十五）DEEP AUTOENCODING GAUSSIAN MIXTURE MODEL FOR UNSUPERVISED ANOMALY DETECTION 用于非监督异常检测的深度自编码高斯混合模

最新推荐文章于 2024-06-06 09:39:57 发布
最新推荐文章于 2024-06-06 09:39:57 发布
阅读量1.2k 收藏 13
点赞数 8
分类专栏： 论文解析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WangZixuan1111/article/details/106426211
版权

内含动画的PPT已经上传，可以在我上传的资源里看到，可免费下载论文信息

论文解析参考链接：用于非监督异常检测的深度自编码高斯混合模型
论文链接：DEEP AUTOENCODING GAUSSIAN MIXTURE MODEL FOR UNSUPERVISED ANOMALY DETECTION
论文参考代码https://github.com/tnakae/DAGMM

在阅读论文的后阶段，需要掌握EM算法的基本原理，大家可以搜索一下CSDN一些热门的博客，关于视频学习EM算法，我推荐复旦-机器学习课程 第十讲 EM 算法以及EM算法的原理

论文信息

  • 2018
  • ICLR
  • 多维时间序列+异常检测+GMM+Deep AutoEncoder+EM算法（期望最大化算法）
一、论文动机在这里插入图片描述
二、论文创新

在这里插入图片描述

三、网络结构

1、Compression network

2、Estimation network

3、GMM训练与参数更新

4、预测

5、损失函数

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

四、个人小结在这里插入图片描述
是肉球哇
关注
  • 8
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Video fire detection based on Gaussian Mixture Model and multi-color 基于高斯混合模型和多色特征的视频火灾检测 （英文论文翻译）
weixin_43590290的博客
10-12 1084
英文版论文原文：https://link.springer.com/content/pdf/10.1007%2Fs11760-017-1102-y.pdf 基于高斯混合模型和多色特征的视频火灾检测 Video fire detection based on Gaussian Mixture Model and multi-color features Xian-Feng Han, Jess...
DAGMM-pytorch
05-24
DAGMM-PyTorch 基于PyTorch == 1.6.0实现的DAGMM模型，并完成对KDDCUP99数据集的评估 文章： 关于该项目的中文博客： 要求 火炬> = 1.6.0 麻木 大熊猫 matplotlib 数学 scikit学习 tqdm 数据处理 python data_pre.py 您需要选择自己的数据集路径。 为了方便实验，我们选择了采样率为10％的KDDCUP99数据集： kddcup.data_10_percent 。 火车 python train.py 您可以在hyp参数字典中设置自己的实验参数。 请注意，批大小不应设置得太大，否则会导致模型训练期间的梯度不稳定。 您可以在hyp参数字典中设置自己的实验参数。 请注意，batchsize不能设置得太大，否则会导致模型训练期间的梯度不稳定，模型收敛很快，并且训练过程的损失如下： 测试 python
论文分享-- >异常检测-- >Deep Autoencoding Gaussian Mixture Model for Unsupervised Anomaly Detection
村头陶员外的博客
08-25 7294
本文将总结分享ICLR2018论文 Deep Autoencoding Gaussian Mixture Model for Unsupervised Anomaly Detection，论文链接 DAGMM，参考的代码链接 CODE，本论文旨在将神经网络、EM与GMM有机结合起来，做无监督的异常检测，并且取得了不错的效果。 论文动机和创新点 异常检测的本质是通过密度估计找出离群点过程。 ...
探索异常检测新境界：DAGMM TensorFlow 实现
最新发布
gitblog_00017的博客
06-06 390
探索异常检测新境界：DAGMM TensorFlow 实现 项目地址:https://gitcode.com/tnakae/DAGMM 在这个日益数字化的世界中，数据的安全性和完整性变得越来越重要。异常检测技术已成为识别潜在问题和保护系统免受攻击的关键工具。今天，我们将向您推荐一个强大的开源项目，它为无监督异常检测带来了全新的解决方案——基于 TensorFlow 的 DAGMM（深度自编码高斯混...
DEEP AUTOENCODING GAUSSIAN MIXTURE MODEL FOR UNSUPERVISED ANOMALY DETECTION
fruit的博客
10-10 4117
ICLR-2018 摘要 对于多维或高维数据的无监督异常检测在基础机器学习研究和工业应用中都是非常重要的，其密度估计是核心。虽然先前基于维数降低随后密度估计的方法取得了丰硕成果，但它们主要受到模型学习的解耦，其优化目标不一致，并且无法在低维空间中保留基本信息。在本文中，我们提出了深度自动编码高斯混合模型（DAGMM）用于无​​监督异常检测。我们的模型利用深度自动编码器为每个输入数据点生成低维表示和...
【异常检测】DAGMM：结合深度自编码器器和GMM的端到端无监督网络（一）：论文解读
贝壳er的博客
01-30 3642
这是一个我最近复现并产生较好应用效果的模型，论文来自于ICLR 2018，思路非常有意思。花时间分别从模型原理和如何实现并使用它的角度整理出两篇博客。 论文链接 异常检测是区分样本集中的少量异常样本，一般有两个特点： 异常样本很少，异常：正常分布很不均衡 由于应用范围涵盖很多方面，往往很难获取标签，所以一般都是采用无监督和半监督的方式学习。 本质上，可以认为异常检测的一种思路是通过密度估计找到异常样本的过程，诸如一些传统的聚类算法如K-means，GMM可以被用来异常检测，但这些方法很难推广到高维和.
Gaussian-mixture-model-algorithm.rar_Gaussian Mixture_mixture_混合
09-24
高斯混合模型（Gaussian Mixture Model，GMM）是一种概率模型，广泛应用于统计和机器学习领域，尤其在数据建模、聚类分析以及异常检测等方面。标题中的"Gaussian Mixture_model_混合"指的是该算法的核心特性，即通过...
EM Algorithm for Gaussian Mixture Model (EM GMM)：高斯混合的EM算法。-matlab开发
05-29
这个包通过期望最大化（EM）算法拟合高斯混合模型（GMM）。它适用于任意维度的数据集。 应用了多种技术来提高数值稳定性，例如在对数域中计算概率以避免浮点数下溢，这在计算高维数据概率时经常发生。 该代码还通过...
高斯混合模型(Gaussian Mixture Model)的背景建立
10-09
高斯混合模型种类有单高斯模型（Single Gaussian Model, SGM）和高斯混合模型（Gaussian Mixture Model, GMM）两类。类似于聚类，根据高斯概率密度函数（Probability Density Function, PDF）参数不同，每一个高斯...
GMM.zip_GMM_Gaussian Mixture_image segmentation_mixture_高斯混合模型
07-15
高斯混合模型（Gaussian Mixture Model，GMM）是一种概率模型，广泛应用于统计建模、数据聚类、图像分割等领域。在这个名为"GMM.zip"的压缩包中，包含了一系列用MATLAB编写的函数，用于实现GMM算法，具体包括EMGMM.m...
gmm.zip_GMM目标检测_高斯模型 opencv_高斯模型 运动_高斯混合模型（GMM）opencv
09-24
高斯混合模型（Gaussian Mixture Model，GMM）是一种概率模型，常用于统计建模，特别是在计算机视觉和机器学习领域。在这个特定的上下文中，GMM被应用于运动目标检测，利用OpenCV库来实现。OpenCV是一个强大的开源...
tf-dagmm:dagmm的Tensorflow实现
05-16
tf-dagmm dagmm的流实现：用于无监督异常检测的深度自动编码高斯混合模型，Zong等人，2018年。此外，我构建了卷积自动编码器来分析图像数据，而不是完全连接的自动编码器。 要求 我已经在以下软件包上成功地训练了模型： 的Python 3.6.4 Tensorflow 1.5.0（GPU版本） 编码为高维向量 认证者将输入编码为一个非常低维的矢量（仅1或2）。 这太小了，因为我正在对尺寸为128 x 128图像进行异常检测。 我使用一个亚密层将编码的矢量映射到低维空间。 因此，我可能会遇到更好的重构错误，并且还可以训练GMM。 笔记 此tf模型用于对我的工作执行异常检测的真实案例。 由于商业安全性，我无法提供我使用的数据集。 我已经做过一些实验，使用专家建议在每个图像中使用几种自动编码器（即论文中的压缩方式）来分析重要区域。 结果却表现不佳。 就我而言，所需的培训时间很
【文章学习系列之模型】DAGMM
博客标题不能为空
11-14 568
这篇论文的模型结构和训练方式对后来的研究者有着深远的影响，不少异常检测的无监督研究依旧是沿用这一套路线继续探索，并取得了不错的效果。
【机器学习】异常检测
noobiee的博客
10-28 8686
异常检测实际案例：网络安全中的攻击检测，金融交易欺诈检测，疾病侦测，和噪声数据过滤等。时间序列的异常又分为点异常和模式异常。对于一个新观测值进行判断： 离群点检测: 训练数据包含离群点,即远离其它内围点。离群点检测估计器会尝试拟合出训练数据中内围点聚集的区域, 会忽略有偏离的观测值。 新奇点检测: 训练数据未被离群点污染，我们对新观测值是否为离群点感兴趣。在这个语境下，离群点被认为是新奇点。 离群点检测 也被称之为 无监督异常检测; 而 新奇点检测 被称之为 半监督异常检测。 在离群点检
【异常检测】DAGMM：结合深度自编码器器和GMM的端到端无监督网络（二）：代码实战（PyTorch）
贝壳er的博客
01-30 1751
代码部分基于PyTorch1.6.0，使用网络入侵异常检测数据集KDDCUP99来训练和评测，完整代码见：GitHub。 文章目录1.网络部分：2.GMM参数计算：3.似然函数和总体损失的计算：4.KDDCUP99数据集预处理和划分：5.完整代码 1.网络部分： 网络部分的实现较为简单，基本上就是DAE结构接一个全连接结构，最后输出一个softmax Tensor。要注意好Compression network和Estimation network的输入输出的Tensor shape： class D.
2018ICLR会议论文：无监督异常检测的深度自编码高斯混合模型DEEP AUTOENCODING GAUSSIAN MIXTURE MODEL FOR UNSUPERVISE
yipala的博客
08-18 1681
用于无监督异常检测的深度自编码器高斯混合模型 DEEP AUTOENCODING GAUSSIAN MIXTURE MODEL FOR UNSUPERVISED ANOMALY DETECTION 摘要 1 INTRODUCTION 2 RELATED WORK 3 DEEP AUTOENCODING GAUSSIAN MIXTURE MODEL 3.1 OVERVIEW 3.2 ...
【异常检测】DAGMM：结合深度自编码器器和GMM的端到端无监督网络（二）：代码实战（PyTorch）...
AI蜗牛车
02-17 1821
作者| 贝壳er研究| 数据挖掘与异常检测出品 | AI蜗牛车“代码部分基于PyTorch1.6.0，使用网络入侵异常检测数据集KDDCUP99来训练和评测，完整代码见：GitHub ...
DGIM 算法 大数据实验一
weixin_45529487的博客
05-30 369
DGIM algorithm 1：以01stream.txt文件为自己所写程序的输入，读取中文件中的01数据流； 2：设定窗口大小1000，以不超过50%的相对误差回答任意时刻，当前窗口中有多少个1-bit； 3：设定窗口大小2000，以不超过10%的相对误差回答任意时刻，当前窗口中有多少个1-bit； 4：编写一个精确计算当前窗口中1-bit个数的精确程序，比较精确程序在运行时间和空间和DGIM算法的差异。 import time bucket_n = [] # 桶的列表 #计算实际比特数 和 运行
论文阅读:深度自编码高斯混合模型DAGMM --＞DEEP AUTOENCODING GAUSSIAN MIXTURE MODEL FOR UNSUPERVISED ANOMALY DETECTION
weixin_43170205的博客
11-18 1559
一、问题背景 异常检测应用场景：欺诈检测、网络入侵检测、工业控制领域等。 目前存在的问题 如何对高维和多变量的数据进行无监督异常检测是一个挑战，传统的聚类算法，例如K-means，GMM，很难很好的应用到这类高维数据上。 目前的常用解决方法 传统的方法分两步，先对高维数据进行降维，将原始数据映射到低维度空间；然后在这个低维空间内做密度估计。 这两个步是相互独立的过程，高维数据降维后的表征很难保留足够多的关键信息。 因为这两步是相互独立的，最终可能导致模型陷入局部最优的境地，试想降维过程完全独立于后
深度自编码高斯混合模型
04-01
深度自编码高斯混合模型（Deep Autoencoder Gaussian Mixture Model）是一种结合了深度自编码和高斯混合模型的方法，用于无监督学习和聚类任务。 深度自编码（Deep Autoencoder）是一种神经网络模型，由多个编码器...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

是肉球哇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值