SDCN：结构化深度聚类网络，开启数据分群新纪元

于 2024-08-21 08:40:20 发布
阅读量1.9k 收藏 4
点赞数 5
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gitblog_00701/article/details/141375870
版权

SDCN：结构化深度聚类网络，开启数据分群新纪元

项目地址:https://gitcode.com/gh_mirrors/sd/SDCN

项目介绍

SDCN，即结构性深度聚类网络，是近年来在无监督学习领域的一次重要突破。该模型由Bo Deyu等学者于2020年的WWW会议上发表，其论文详细阐述了一种将深度学习的强大表征能力和聚类目标有机融合的方法，旨在提升聚类任务的准确性和稳定性。SDCN不仅理论新颖，更通过实验证明了其在多种数据集上的出色表现。

项目技术分析

SDCN的核心在于其巧妙的设计，它通过构建K近邻图（KNN图）来捕捉数据点之间的结构信息，并在此基础上，设计了一个双阶段训练流程。首先，通过预训练的自编码器学习到高质量的数据表示；随后，引入分布P和Q的概念，其中P代表增强聚类性能的分布，而Q则是从这些表示中得到的聚类分配概率。不同于直接用Q监督P的传统方法，SDCN采用了一种更为平滑的优化策略，利用KL散度间接调整，以避免了聚类空间的大幅扰动，确保了学习过程的稳定性和效果的提升。这背后的技术智慧在于如何平衡深度学习的自动特征提取与聚类需求之间的一致性。

项目及技术应用场景

SDCN的应用场景广泛，尤其适合那些需要从复杂数据中发现内在结构或模式的任务。比如，在图像分类中，它能够自动识别并聚类相似图像；在社交媒体分析中，可以用于用户兴趣的自动划分；在推荐系统内，帮助对用户行为进行更加精细化的聚类，进而提升个性化推荐的准确性。此外，对于学术界而言，SDCN提供了一套研究无监督学习和深度聚类的新框架，为后续的研究打开了新的视角。

项目特点

  • 双重优化机制：通过P与Q的间接监督，实现深度学习与聚类目标的有效结合。
  • 灵活性强：支持多种数据集的应用，用户只需按照指南完成图构建、预训练和参数调整即可。
  • 高效聚类：借助于自编码器和KNN图，SDCN能够快速识别数据中的结构，提高聚类效率和精度。
  • 开源友好：通过简单的命令行操作即可运行示例代码，文档清晰，便于开发者快速上手。

SDCN项目，以其独到的算法设计和广泛的应用潜能，无疑为数据科学家和机器学习工程师提供了一个强大的工具。无论是科研探索还是实际应用，SDCN都是值得尝试的先进解决方案。立即加入SDCN的使用者行列，解锁数据驱动的新见解与洞察力吧！

# 探索数据深处的秘密 - 使用SDCN进行深度聚类

了解更多信息 | 开始使用 | 引用我们的工作

SDCN SDCN 项目地址: https://gitcode.com/gh_mirrors/sd/SDCN

【论文笔记】WWW2020 Structural Deep Clustering Network 结构化的深度聚类网络
Sonya_的博客
02-22 2399
作者： 摘要： 聚类是数据分析中一个基础任务。最近，深度聚类（从深度学习方法中获取到主要的灵感）取得了领先的效果，并且吸引了很多的注意力。目前的深度聚类方法一般通过深度学习强大的表示能力提升聚类的结果，例如，自动编码器表明，对聚类来说学到一个有效的表示是必须的。深度聚类方法的能力在于能够从数据本身抽取出有用的表示，而不是数据的结构，这一点在表示学习中很少受到关注。受到GCN成功编码图结构的...
Structural Deep Clustering Network阅读与翻译
ziqingnian的博客
11-07 2545
文章作者信息： Structural Deep Clustering Network 结构化深度聚类网络 深度聚类算法SDCN，首次将GNN用到聚类上，由北邮、腾讯和清华联合发表在WWW2020上。 Abstract Deep clustering(deep learning approaches)将深度学习强大的表征能力融入到聚类任务中。有效的学习数据的表征是深度聚类的关键。但是现有的工作仅关注数据自身的特性，在学习表征(representation learning)时很少考虑数据的结构。基
探索数据结构的深度聚类网络：SDCN
gitblog_00008的博客
05-26 545
探索数据结构的深度聚类网络：SDCN SDCN项目地址:https://gitcode.com/gh_mirrors/sd/SDCN 项目介绍 SDCN（ Structural Deep Clustering Network）是一个创新性的开源项目，旨在将深度学习的强大表征能力与无监督聚类任务相结合。该模型通过构建基于特征相似性的KNN图，以及自编码器的预训练，实现了对数据集的高效和准确的聚类。...
【论文精读】20WWW Structural Deep Clustering Network （SDCN网络图聚类）
MaoZhihang的博客
09-19 991
GCN聚类应用
(SDCN)Structural Deep Clustering Network 2020 WWW
qq_16543881的博客
06-15 4417
问题：当前的深度聚类方法的优势只要是从数据本身中提取有用的表示，而不重视数据的结构信息。本文结合GCN在图结构编码方面的优势，将结构化信息集成到深层聚类中，提出了一种结构化深层聚类网络(SDCN)。具体来说，提出的 SDCN 算法结合了自动编码器和 GCN 算法的优点，采用了一种新颖的传递算子和双重自监督模块。这是第一次将结构化信息明确地应用到深度聚类中。设计了一个传递算子，将自动编码器学习到的表示转移到相应的 GCN 层，并设计了一个双重自监督机制，将这两种不同的深层神经结构统一起来，引导整个模型的更新。
A Survey of Deep Graph Clustering: Taxonomy, Challenge, Application, and Open Resource（深度图聚类研究综述）
qq_42754434的博客
07-16 1450
图聚类旨在将图中的节点划分为几个不同的簇，这是一个基础但具有挑战性的任务。得益于深度学习强大的表示能力，深度图聚类方法近年来取得了巨大的成功。然而，相应的综述论文相对稀缺，有必要对这一领域进行总结。基于这一动机，我们对深度图聚类进行了全面的综述。首先，我们介绍了该领域的形式化定义、评估和发展。其次，我们根据图类型、网络架构、学习范式和聚类方法四个不同标准，介绍了深度图聚类方法的分类法。第三，我们通过广泛的实验仔细分析了现有方法，并从图数据质量、稳定性、可扩展性、辨别能力和未知簇数量五个角度总结了挑战与机遇。
请向我详细介绍sdcn聚类模型的定义，内容，网络结构，在聚类中的作用和注意事项，并给我它的网络结构示意图
04-05
SDCN（Spectral Clustering with Deep Neural Networks）聚类模型是一种基于深度神经网络的谱聚类方法。该模型通过将谱聚类算法与深度神经网络相结合，将数据集转换为图结构，利用谱聚类算法对数据进行聚类，并利用...
图神经网络时代的深度聚类
Paper weekly
03-17 6722
©PaperWeekly 原创 ·作者｜纪厚业学校｜北京邮电大学博士生研究方向｜图神经网络和推荐系统聚类作为经典的无监督学习算法在数据挖掘/机器学习的...
各种深度聚类方法摘要
ddana_a的博客
08-05 7150
Spectral Clustering with Graph Neural Networks for Graph Pooling 频谱聚类（SC）是一种流行的聚类技术，用于在图形上查找强连接的社区。 SC可以在图形神经网络（GNN）中使用，以实现汇总属于同一群集的节点的池化操作。但是，拉普拉斯算子的特征分解是昂贵的，并且由于聚类结果是特定于图的，因此基于SC的合并方法必须为每个新样本执行新的优化。在本文中，我们提出了一种图聚类方法来解决SC的这些局限性。我们制定了标准化minCUT问题的连续松弛，并训练了G
sdcn模型学习
qq_61819147的博客
09-20 425
将数据（图像，文本...)压缩至隐藏层（encoder），一般是得到低维特征表示原数据，再通过decoder将隐藏层恢复成原数据，在期间设置重构损失表示原数据与decoder的数据之间的差值，以最小化重构损失为目的训练该模型（一般是神经网络）。只使用A的话，由于A的对角线上都是0，所以在和特征矩阵H相乘的时候，只会计算一个node的所有邻居的特征的加权和，该node自己的特征却被忽略了。GCN作用：提取特征，其对象为图数据，其可以从图数据中提取特征，从而类似ae一样对这些特征进行操作，或分类，或预测等等。
Structural Deep Clustering Network
记录学习历程
05-31 1286
深度聚类方法通常是通过深度学习强大的表示能力来提升聚类结果，例如自动编码器，这表明学习一个有效的聚类表示是一个至关重要的要求。深度聚类方法的优势在于从数据本身中提取有用表示，但很少从数据结构中提取有用表示。因为GCN在提取图结构编码方面取得了很大成功。作者提出了一种结构深度聚类网络(SDCN)，将结构信息整合到深度聚类中。即设计了一个传递算子将自编码器学习到的表征传递到相应的GCN层，并设计了一个双重自监督机制来统一这两种不同的深度神经结构并指导整个模型的更新。
SDCN--算法流程学习
m0_46114999的博客
08-12 5109
SDCN框架主要由GCN和AE组成。GCN(图卷积网络)用在文本数据上的好处：捕捉语义关系：文本数据通常具有复杂的语义关系，例如词与词之间的、句子之间的等。GCN可以通过在图结构中传播信息来学习单词或句子之间的，从而更好地捕捉到这些语义关系。处理长距离依赖：传统基于序列模型（如循环神经网络）处理文本时可能会面临问题，即较远位置上出现的单词对当前位置产生影响。而GCN可以通过多层卷积操作，在不同层级上进行信息传递和聚合，有效地解决了这个问题。
SDCN--代码分析
m0_46114999的博客
08-16 394
SDCN通过集成预训练好的ae模型和多层GCN,实现了一个融合节点自身特征和结构特征的模型结构。同时引入自监督信号作为辅助训练。这形成了一个既考虑节点自身,也建模节点关系的图神经网络。前向传播：通过AE和GCN提取节点特征。计算预测类别和自监督信号。输出:重构特征、自监督信号、预测类别、编码表示。#AEn_z=n_z)# GCN# Degreeself.v = v定义了5层GCN。通过第一层GCN学习初始特征。接下来每层GCN的输入是前层GCN特征h和AE特征的融合。
SDCN--在bbc数据集下的结果
m0_46114999的博客
08-11 266
Z(硬聚类结果): 通过模型预测得到的硬聚类, 将Q转换为hard cluster assignment。P(优化目标即理想的软聚类分布): 目标分布,也就是理想的soft cluster assignment。Q(软聚类结果): 通过模型预测得到的软聚类,即数据点属于每个cluster的概率。它是tmp_q变量,通过模型的自编码器和GCN模块预测得到。可以从图中看出，最开始的指标很低，在200多epoch后达到最高值，loss呈现下降（但不知道为什么loss那么低）
SDCN 开源项目使用手册
最新发布
gitblog_00141的博客
08-20 493
SDCN 开源项目使用手册 SDCN项目地址:https://gitcode.com/gh_mirrors/sd/SDCN 本指南旨在帮助您快速了解并应用 Structural Deep Clustering Network (SDCN) 项目。SDCN 结合深度学习与聚类任务，特别设计用于发掘数据的深层结构特征。以下是关于该项目的基本框架和关键步骤的详细介绍。 1. 项目目录结构及介绍 SDC...
SDCN 开源项目使用教程
gitblog_00858的博客
08-20 700
SDCN 开源项目使用教程 项目地址:https://gitcode.com/gh_mirrors/sd/SDCN 项目介绍 SDCN（Structural Deep Clustering Network）是一个创新性的开源项目，旨在将深度学习的强大表征能力与无监督聚类任务相结合。该项目通过构建基于特征相似性的KNN图以及自编码器的预训练，实现了对数据集的高效和准确的聚类。SDCN由北邮、腾讯和清...
【无标题】
qq_40358147的博客
04-13 395
该模块主要是对非图数据进行处理，通过K近邻算法构建一个K近邻的图，首先要构造相似性矩阵，从相似性矩阵中选择节点前K个作为邻居。：　根据节点特征　计算任意节点之间的相似度关系，选择与自身最大的ｋ个连接成边。
对聚类经典文献（DEC——无监督的深度嵌入式聚类）的学习（续）
llismine的博客
06-02 4505
本文主要是本人的学习心得，包括以下两个方面：一、对论文《无监督的深度嵌入式聚类》（DEC）相关知识的学习；二、对DEC代码的学习。详细讲解点击此处：（论文解读）DEC（Deep Embedded Clustering）是一种基于深度学习的无监督聚类方法，它通过将自编码器（Autoencoder）与K-Means聚类相结合来实现端到端的聚类任务。
Structural Deep Clustering Network 基于GNN的深度聚类算法 WWW2020
u013602059的专栏
06-17 5397
论文链接：https://arxiv.org/abs/2002.01633 代码与数据集链接：https://github.com/lxk-yb/SDCN 摘要 聚类是数据分析中一个基础任务。最近，深度聚类（从深度学习方法中获取到主要的灵感）取得了领先的效果，并且吸引了很多的注意力。目前的深度聚类方法一般通过深度学习强大的表示能力提升聚类的结果，例如，自动编码器表明，对聚类来说学到一个有效的表示是必须的。深度聚类方法的要点一般在于能够从数据本身抽取出有用的表示，而不是数据的结构，这（因此数据的结构）在表示.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

贾彩知Maura

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值