DEC(Deep Embedded Cluster)小结

最新推荐文章于 2025-03-27 09:00:00 发布
最新推荐文章于 2025-03-27 09:00:00 发布
阅读量7.1k 收藏 24
点赞数 4
分类专栏： 知识梳理 AI 文章标签： 机器学习 clusting 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AndyViky/article/details/94159565
版权
DEC是一种深度学习驱动的聚类方法，它结合了深度神经网络和聚类算法，尤其适用于高维数据。DEC通过学习低维特征表示并优化聚类分配，使用KL散度最小化来改进聚类效果。算法包括自动编码器预训练和聚类优化两个阶段，实现了聚类和特征学习的联合优化，提供了一种有效的非监督学习策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Deep Embedded Cluster

简介

一般的聚类算法例如K-means，GMM，这些方法速度快，适用于各种各样的问题， 但是，它们的距离度量仅限于原始数据空间，当输入维度较高时，它们往往无效。因此突出DEC聚类，DEC可以同时学习使用深度神经网络的特征表示和聚类分配，DEC从数据空间学习映射到低维特征空间，在该特征空间中迭代地优化聚类目标。

DEC定义了一个基于质心的概率分布，并将KL散度最小化为一个辅助目标分布，以同时改善聚类分配和特征表示，而不是最小化KL散度以产生忠实于原始数据空间中的距离的嵌入。 基于质心的方法还具有降低 O(nk) 的复杂度的优点，其中k是质心的数量。

DEC通过同时学习特征空间Z中的k个聚类中心 { u j ∈ Z } j = 1 k \{u_{j} \in Z\}_{j=1}^k { uj​∈Z}j=1k​ 和将数据点映射到Z的DNN的参数 θ \theta θ 来聚类数据。DEC具有两个阶段:( 1）使用自动编码器进行参数初始化，(2）参数优化（即聚类），其中我们在计算辅助目标分布和最小化Kullback-Leibler（KL）散度之间进行迭代。

贡献：
（a）深度嵌入和聚类的联合优化;
（b）通过软分配进行新颖的迭代改进;
（c）得出聚类精度和速度方面最先进的聚类结果；

KL散度

给定非线性映射 f θ f_{\theta} fθ​ 和初始聚类质心 { u j } j = 1 k \{u_{j}\}_{j=1}^{k} { uj​}j=1k​ 的初始估计，DEC使用在两个步骤之间交替的无监督算法来改进聚类。 在第一步中，我们计算嵌入点和集群质心之间的软分配。 在第二步中，我们更新深度映射 f θ f_{\theta} fθ​ 并通过使用辅助目标分布从当前高置信度分配中学习来优化聚类质心。 重复这个过程直到满足收敛条件。

软分配

基于 t-sne 的思想，DEC使用 t 分布作为核来测量嵌入点和质心之间的相似度。
q i j = ( 1 + ∣ ∣ z i − u j ∣ ∣ 2 / α ) α + 1 2 ∑ j ‘ ( 1 + ∣ ∣ z i − u j ‘ ∣ ∣ 2 / α ) α + 1 2 q_{ij}=\frac{(1+||z_{i}-u_{j}||^2/\alpha)^\frac{\alpha+1}{2}}{\sum_{j^`}(1+||z_{i}-u_{j^`}||^2/\alpha)^\frac{\alpha+1}{2}} qij​=∑j‘​(1+∣∣zi​−u

最低0.47元/天 解锁文章
【数据聚类|深度聚类】Unsupervised Deep Embedding for Clustering Analysis(DEC)论文研读
快乐江湖的博客
03-01 1097
如何优化。
acc定义代码 神经网络_【神经网络】自编码聚类算法--DEC (Deep Embedded Clustering)
weixin_42137028的博客
01-12 1461
1.算法描述最近在做AutoEncoder的一些探索，看到2016年的一篇论文，虽然不是最新的，但是思路和方法值得学习。论文原文链接http://proceedings.mlr.press/v48/xieb16.pdf，论文有感于t-SNE算法的t-分布，先假设初始化K个聚类中心，然后数据距离中心的距离满足t-分布，可以用下面的公式表示:其中 i表示第i样本,j表示第j个聚类中心, z表示原始特...
论文笔记-DEC (Deep Embedded Clustering)
weixin_45739483的博客
11-08 2718
论文笔记-DEC (Deep Embedded Clustering）知识点1.将聚类的度量参考T-SNE中的t-分布，将聚类的度量转换成一个概率值（软分配，qij 表示将样本 i 分配给 j 簇的概率）：知识2. 作者定义一个辅助分布 p ，通过KL散度衡量 p 和 q 两个分布构造损失函数L 论文原文：http://proceedings.mlr.press/v48/xieb16.pdf 知识点1.将聚类的度量参考T-SNE中的t-分布，将聚类的度量转换成一个概率值（软分配，qij 表示将样本 i 分配
Deep Embedded Clustering with Asymmetric Residual Autoencoder
qq_44944580的博客
10-09 559
出于为了解决AE中的梯度消失，是否可以使用残差网络或者dense net解决的心态，我搜到了这篇文章Deep Embedded Clustering with Asymmetric Residual Autoencoder。 本文的亮点： 使用了一个非对称的、残差的autoencoder来训练样本； 将clustering融合入模型，解决end-to-end问题； 非对称训练得到的AE更加适合clustering； 因为将模型融合，导致AE的训练存在一些constraint（满足clu.
【聚类算法解析系列07】聚类与深度学习的结合——深度嵌入聚类（DEC）
熵数实验室
03-27 1201
数据本质是连续流形上的概率分布，而非离散样本点的集合——这正暗合了爱因斯坦"场论"对经典力学的超越。在20量子位系统中，MNIST分类准确率达85%，耗时仅经典DEC的1/1000。其中系数比( \alpha:\beta:\gamma )决定优化轨迹的相变路径。：BraTS 2023脑肿瘤数据集（3D MRI，4模态）在100家医院联合训练中，模型AUC提升12%，数据不出域。在8xA100集群上，训练速度提升6.8倍。模型体积缩小至1/4，推理延迟降低至8ms。
深度嵌入聚类 DEC 总结
Avery123123的博客
11-21 6736
Deep Embedded Cluster 概述 动机 贡献 过程 概述 软分配 目标分布（辅助分布） 最小化KL散度（目标函数） 结构图 实现
对聚类经典文献（DEC——无监督的深度嵌入式聚类）的学习（续）
llismine的博客
06-02 4576
本文主要是本人的学习心得，包括以下两个方面：一、对论文《无监督的深度嵌入式聚类》（DEC）相关知识的学习；二、对DEC代码的学习。详细讲解点击此处：（论文解读）DEC（Deep Embedded Clustering）是一种基于深度学习的无监督聚类方法，它通过将自编码器（Autoencoder）与K-Means聚类相结合来实现端到端的聚类任务。
【神经网络】自编码聚类算法--DEC (Deep Embedded Clustering)
weixin_30883271的博客
10-21 2895
1.算法描述 最近在做AutoEncoder的一些探索，看到2016年的一篇论文，虽然不是最新的，但是思路和方法值得学习。论文原文链接http://proceedings.mlr.press/v48/xieb16.pdf，论文有感于t-SNE算法的t-分布，先假设初始化K个聚类中心，然后数据距离中心的距离满足t-分布，可以用下面的公式表示: 其中 i表示第i样本,j表示第j个...
DEC
ddana_a的博客
08-05 1999
算法（DEC）通过同时学习特征空间Z中的k个聚类中心{μj∈Z} j = 1 … k和将数据点映射到Z的DNN参数θ来对数据进行聚类。两个阶段：（1）使用深度自动编码器进行参数初始化和（2）参数优化（即，聚类），在此过程中，我们在计算辅助目标分布与最小化Kullback-Leibler（KL）差异之间进行迭代。我们从描述阶段（2）参数优化/聚类开始，给定θ的初始估计值，且{µj} j = 1，… k。 KL聚类 给定非线性映射fθ的初始估计和初始聚类质心{μj} kj = 1，我们建议使用在两步之间交替的无
论文笔记：Deep Embedded Clustering with Data Augmentation
GYY8023的博客
03-03 1117
Deep Embedded Clustering with Data Augmentation 1 摘要 文章讲数据增量引入深度嵌入聚类中，提出deep Embedded Clustering with Data Augmentation (DEC-DA)。 首先，用一组增广数据训练一个自动编码器来构造初始特征空间。 然后对嵌入的特征进行聚类损失约束，进一步学习面向聚类的特征。聚类损失由目标（伪标...
探索无监督聚类新境界：深度嵌入聚类（Deep Embedding Clustering, DEC）
gitblog_00562的博客
08-24 1062
探索无监督聚类新境界：深度嵌入聚类（Deep Embedding Clustering, DEC） DEC-kerasKeras implementation for Deep Embedding Clustering (DEC)项目地址:https://gitcode.com/gh_mirrors/de/DEC-keras 随着机器学习和深度学习的飞速发展，如何在无需标签数据的情况下高效地进行...
dec-tensorflow:Tensorflow实现“用于聚类分析的无监督深度嵌入”
05-11
Tensorflow中的深度嵌入聚类（DEC） 的Tensorflow实现。 安装 >>> pip3 install -r requirements.txt 训练 usage: train.py [-h] [--batch-size BATCH_SIZE] [--gpu-index GPU_INDEX] optional arguments: -h, --help show this help message and exit --batch-size BATCH_SIZE Train Batch Size --gpu-index GPU_INDEX GPU Index Number 可视化 inference.py返回潜在表示形式（$ z $），并导出z.t
基础深度聚类算法——DEC与SDEC
crisps_ww的博客
11-12 1388
在DEC论文中，聚类过程通过KL散度（Kullback-Leibler Divergence）来优化，并涉及一个非线性映射和一组初始聚类中心。整个过程是一个迭代的无监督学习算法，交替执行步骤，直至满足收敛条件。（1）soft assignment软分配计算论文中详细解释了软分配（Soft Assignment）的计算方法，该方法基于Maaten和Hinton（2008）的研究。软分配是一种衡量嵌入点与聚类中心之间相似度的方法，允许一个样本属于多个聚类的概率分布。具体计算步骤如下：·计算距离。
【文献阅读笔记】Unsupervised Deep Embedding for Clustering Analysis
weixin_42949680的博客
01-11 1416
Unsupervised Deep Embedding for Clustering Analysis论文笔记，如有错误欢迎评论指正
《Unsupervised Deep Embedding for Clustering Analysis》论文学习
Weyoung_的博客
03-01 7111
1. Introduction             聚类在无监督机器学习中由这几个方面进行了研究：如何定义一个类？什么是正确的距离矩阵？如何对数据进行有效聚类？如何验证聚类结果？至今已有许多工作致力于距离函数与嵌入方法的研究，用于执行聚类的特征空间无监督学习的的研究工作还比较少。For all but simplest image datasets,使用欧氏距离的聚类完全失效。本文希望找到一种...
对聚类经典文献（DEC——无监督的深度嵌入式聚类）代码部分的学习
llismine的博客
05-25 934
torch.pow(z.unsqueeze(1) - self.cluster_layer, 2)：对差值张量中的每个元素进行平方操作，得到一个形状为 (batch_size, n_clusters, n_z) 的平方张量。#这段代码中的参数是神经网络中的层参数，包括输入维度(n_enc_1)和输出维度(n_enc_2)。#torch.Tensor(n_clusters, n_z) 用于创建一个大小为 (n_clusters, n_z) 的张量，它包含了聚类层的权重参数 n_z 是自编码器的输出维度。
通过DEC深度聚类算法实现汽车产品聚类(MindSpore框架)
shsbdbsj的博客
10-12 429
本篇博客详尽地展示了用MindSpore框架实现DEC算法的全流程。博主在学习过程中发现，mindspore2.0.0-rc1框架提供了动态图和静态图两种模式。相较于动态图而言，静态图的特点是将计算图的构建和实际计算分开（Define and run）。在构建阶段，根据完整的计算流程对原始的计算图进行优化和调整，编译得到更省内存和计算量更少的计算图。在计算阶段，根据输入数据执行编译好的计算图得到计算结果。相较于动态图，静态图对全局的信息掌握更丰富，可做的优化也会更多，但是其中间过程对于用户来说是黑盒，
DEC：Unsupervised Deep Embedding for Clustering Analysis
GYY8023的博客
02-27 1320
Unsupervised Deep Embedding for Clustering Analysis 摘要 DEC是一个使用深度神经网络同时学习特征表示和聚类分配的方法。它学习从数据空间到低维特征空间的映射，其中迭代地优化聚类目标。 ...
DEC 深度编码聚类函数
chumingqian的博客
11-14 876
要使用输入 (bt, groups, embed_dim) 计算 DEC 模型的目标分布，关键部分是使用软分配 q ，其形状为 (bt, groups, max_cluster)。对 groups 维度求和：您对 groups 维度（张量中的索引 1）上的这些平方概率求和，因为您想要捕获每个组在所有集群中的分布批次中的项目。对软分配进行平方 ( q )：这会放大高概率分配并抑制较低概率分配。归一化：然后对求和值进行归一化，以确保它们形成正确的概率分布。
深度学习聚类
最新发布
03-29
### 深度学习聚类算法概述 深度聚类是一种结合深度学习和传统聚类方法的技术，其核心在于利用深度神经网络强大的特征提取能力来发现数据中的隐藏模式并完成无监督分类任务[^1]。这种技术通常由两部分组成：**聚类损失函数**和**网络损失函数**，分别用于优化聚类效果和提升特征表达的质量。 #### 基础深度聚类算法 DEC 和 SDEC 一种经典的深度聚类算法是 **Deep Embedded Clustering (DEC)**，该算法通过先预训练一个自编码器（Autoencoder），然后在其隐层空间中执行 K-Means 初始化聚类中心，并进一步微调整个模型以最大化样本与其分配簇之间的相似性[^3]。以下是其实现的关键步骤： 1. 使用自编码器对输入数据进行降维处理，获得低维嵌入表示。 2. 对这些嵌入表示应用传统的 K-Means 方法初始化聚类中心。 3. 定义目标函数并通过反向传播调整参数，使得最终的嵌入更接近于理想的簇分布。 为了增强灵活性以及应对噪声标签的情况，还提出了改进版本——**Self-Supervised Deep Embedded Clustering (SDEC)** ，它引入少量标注信息指导聚类过程，在一定程度上缓解了完全无监督条件下可能存在的局限性。 #### PyTorch 实现 pt-dec 工具包介绍 对于希望快速入门或者实际部署 DEC 的研究者而言，“pt-dec” 是一款基于 PyTorch 开发的良好工具包[^4]。下面给出一段简单的 MNIST 数据集上的使用案例代码片段: ```python from sklearn.datasets import fetch_openml import numpy as np from ptdec.model import train, test from ptdec.utils import cluster_accuracy def main(): # 加载MNIST数据集 mnist = fetch_openml('mnist_784', version=1) data = mnist.data / 255. # 训练阶段 model = train(data[:60000], clusters=10) # 测试阶段 predicted = test(model, data[60000:]) actual = np.asarray(mnist.target[60000:], dtype=int) accuracy = cluster_accuracy(actual, predicted.argmax(axis=1)) print(f'Final clustering accuracy after fine-tuning: {accuracy}') if __name__ == "__main__": main() ``` 此脚本首先加载 MNIST 手写数字图片集合作为实验素材；接着调用 `train` 函数构建并训练完整的 DEC 架构；最后评估测试集中每张图像被正确分组的比例，报告总体精确度约为 85%。 ### 总结 综上所述，现代深度学习驱动下的聚类方案不仅继承了经典统计学框架的优点，而且借助多层感知机架构挖掘出了更加精细的数据内在联系。无论是理论探索还是工程实践领域都有广阔的发展前景。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值