《A Decoder-Free Variational Deep Embedding for Unsupervised Clustering》学习

最新推荐文章于 2024-09-16 13:36:19 发布

Flame5376

最新推荐文章于 2024-09-16 13:36:19 发布

阅读量1.5k

点赞数 43

文章标签： embedding 学习机器学习

本文链接：https://blog.csdn.net/m0_46114999/article/details/137155467

版权

本文提出了一种无解码器的VAE(DFVC)方法，针对聚类任务中的限制。该方法通过最小化重构误差的下界，即最大化输入和表示间的互信息，实现无监督学习的表示学习。论文还探讨了理论推导，包括MI估计和KL散度的应用，以改进深度聚类算法的性能。

摘要由CSDN通过智能技术生成

来源

2021 IEEE Transactions on Neural Networks and Learning Systems (IF 10.4)

模型图

在这里插入图片描述

Abstract

问题

对于聚类任务，模型训练后decoder是无用的，encoder-decoder的结构限制了encoder的深度，降低了模型的学习能力。

方法

提出了无解码器的VaDE无监督聚类（DFVC）

原理

最小化recon_loss即最大化input和表示之间的互信息（MI）的下界

具体方法

连续表示的MI估计值和类别表示的MI计算值，模型将原始输入，增强输入和高阶表示合并在MI估计框架中，以学习表示。
将GMM作为先验进行端到端的学习

Intro写法

无监督学习的描述

Unsupervised learning has the potential to scale up with this ever-increasing availability of data as it alleviates the need to carefully handcraft and annotates data sets.
减轻了做打标签的压力

聚类的描述

Clustering can be considered the most fundamental unsupervised learning task of discovering the inherent grouping structure, such that data points in the same group are more similar to each other and dissimilar to the data points in other groups.
inherent 内在的固有的

深度聚类三件套的描述