论文笔记：Improved Deep Embedded Clustering with Local Structure Preservation

最新推荐文章于 2024-09-13 14:56:28 发布

饮冰l

最新推荐文章于 2024-09-13 14:56:28 发布

阅读量2.7k

点赞数 1

文章标签：聚类算法机器学习深度学习

本文链接：https://blog.csdn.net/qq_44015059/article/details/106695031

版权

前言

DEC 忽略了至关重要的因素，即定义的聚类损失可能会破坏特征空间（聚类损失不能保证局部结构的保存），从而导致无代表性的无意义特征，进而损害聚类性能。

文章提出的Improved Deep Embedded Clustering algorithm(IDEC) 考虑到了保留数据结构，利用聚类损失作为指导，操纵特征空间来分散数据点。为了约束数据生成分布的局部结构，采用了一种欠完备的自动编码器。通过融合聚类损失和自动编码器的损失，IDEC联合聚类标签分配和学习适合聚类并保留数据结构的特征，最后的优化问题采用mini-batch梯度下降法和反向传播。

论文链接：https://www.ijcai.org/Proceedings/2017/0243.pdf
github：https://github.com/dawnranger/IDEC-pytorch

1.介绍

在本文中，提出了改进的深度嵌入式群集（IDEC）算法来处理数据结构p保留。
具体来说，
（1）使用聚类损失作为指导来操纵特征空间以分散数据点。
（2）为了约束操作并维护数据生成分布的局部结构，应用了不完整的自动编码器。
（3）通过集成聚类损失和自动编码器的重建损失，IDEC可以共同优化聚类标签分配，并学习适用于使用局部结构保留进行聚类的功能。
（4）通过小批量随机梯度下降和反向传播可以有效地解决由此产生的优化问题。
（5）在图像和文本数据集上的实验从经验上验证了局部结构保存的重要性和算法的有效性。

总之：IDEC 可以联合执行聚类并学习具有局部结构保护的代表性特征。

2.网络框架

在这里插入图片描述
聚类损失(Clustering loss)用于分散嵌入点 $z$ ，重建损失可确保嵌入空间保留数据生成分布的局部结构

3.模块详解

3.1 Autoencoder

自动编码器是一种神经网络，它被训练来尝试将其输入复制到其输出。在内部，它有一个隐藏层z，用z描述表示输入的代码。整个网络包括两部分编码函数和解码函数，其中解码函数用于产生重构。

自动编码器有两种类型：

不完全表示的自动编码器(Under-complete autoencoder)
去噪自动编码器(Denoising autoencoder)

1.Under-complete autoencoder
它控制低于输入数据x的潜在数据z的维数。学习这种不完全的表示迫使自动编码器捕获数据的最显著特征。

2.Denoising autoencoder
与重建x给定x不同，去噪自动编码器将以下目标最小化：
在这里插入图片描述
其中，其中 $\tilde{x}$ 是被某种形式的噪声破坏的x的副本。.因此，去噪自动编码器必须从这种损坏中恢复 $x$ ，而不是简单地复制它们的输入。通过这种方式，去噪自动编码器可以强制编码器和解码器隐式捕获数据生成分布的结构。在该算法中，去噪自动编码器被用于预训练，欠完备自动编码器用于DEC框架的初始化。