《Deep Fusion Clustering Network》启发

Flame5376

已于 2024-03-26 10:10:34 修改

阅读量1.1k

点赞数 21

文章标签：学习机器学习人工智能聚类

于 2024-03-22 20:51:18 首次发布

本文链接：https://blog.csdn.net/m0_46114999/article/details/136920050

版权

在想第二个点的时候，想到这篇论文，看看从中能不能提取什么内容加入到现有模型中

Abstract

观点

将AE和图神经网络结合起来，利用结构信息提高性能

现有问题

dynamic fusion mechanism
选择性的整合图结构信息和属性信息进行共识学习
robust target distribution n (i.e., “groundtruth” soft labels)
说是无法从两边（属性信息+结构信息？）提取信息来生成鲁棒的目标分布
我理解的是类似DEC的KL散度

做法

提出基于相互依赖学习的结构和属性信息融合模块，显示合并AE和GAE
设计一个目标分布生成度量和三重自监督，便于跨模态信息利用

Intro

深度聚类的性能：决定于优化目标和特征提取的方式

Two important factors, i.e., the optimization objective and the fashion of feature extraction, significantly determine the performance of a deep clustering method

之前的方法的问题：

缺乏跨模态动态信息的融合和处理机制，只是简单对其或连接，信息交互不足（21年的论文，估计这个问题被解决的差不多了吧）
目标分布的生成很少同时使用两个来源的信息（KL只是用x和z？）阻碍了信息的协商

描述方法：局部和全局进行进行融合，进行共识表示学习

Firstly, we integrate two kinds of sample embeddings in both the perspective of local and global level for consensus representation learning.

还造了个具有对称结构的IGAE，并利用图decoder recon 通过潜在表示（latent representations）和特征表示（feature representations）来重建邻接矩阵(A)

Variational Graph Auto-Encoders (VGAE) [Kipf and Welling, 2016]：图变分自编码器
中间经历了对抗，注意力，图池机制来优化性能。但GCN还是容易过平滑。
–> 到了SDCN，解决了上面的问题。但是SDCN中GCN只是用作AE的正则化器，没有充分利用GCN学到的特征来指导网络自由化，两个子网络在表示学习中缺乏协商

本文很好的整合了AE和GAE

Method

分为四个模块：AE，IGAE，Fusion Part，Target Part

描述方法：一般都只是用自己的潜在表征来重构，但是使用压缩表示，首先整合两个源的信息以获得一致潜在表示

Most of the existing autoencoders, either classic autoencoder or graph autoencoder, reconstruct the inputs with only its own latent representations. However, in our proposed method, with the compressed representations of AE and GAE, we first integrate the information from both sources for a consensus latent representation.

IGEA：

在这里插入图片描述
σ为激活函数，W为第l层编码器，第h层解码器的可学习参数
目标函数为：

其中 γ为超参，作为权重调节

Z是重构的加权属性矩阵，A_hat是重构邻接矩阵

融合Part

在这里插入图片描述

将AE和IGAE的潜在嵌入进行线性叠加，α为可学习系数，取0.5，通过梯度调整。Z都为N*d’：
采用类似图卷积的方法处理（考虑的是数据内部结构来增强Zi，局部增强）A为N*N
自相关学习机制。计算归一化自相关矩阵S
重新组合(样本间的全局相关性)：
跳跃式连接，促进信息在融合机制内顺畅传递。β也是可学习的参数，初始化为0

技术上讲，考虑了局部和全局层面的样本相关性，因此学习共识潜在表征方面有优势

三重自监督

在这里插入图片描述

联合优化

这个要同时优化？为什么ae和KL要同时优化？在这里插入图片描述
总损失函数：

在这里插入图片描述

目前做了GVAE和VAE做分布融合的工作：

Variational Graph Embedding and Clustering with Laplacian Eigenmaps (VGECLE) [Chen et al., 2019]: 这项工作提出了一个统一的框架,将VAE和GVAE的分布信息与拉普拉斯特征映射相结合,用于同时学习节点嵌入和聚类。通过优化三个目标:VAE的重构误差、GVAE的重构误差和拉普拉斯特征映射的平滑性,可以得到更加稳定和可解释的聚类结果。
Dual Variational Graph Convolutional Auto-Encoder for Graph Clustering (DVGC) [Wang et al., 2020]: 这项工作提出了一个双变分图卷积自编码器,包括一个全图VAE和一个属性VAE。通过最小化两个VAE的重构误差以及它们的隐空间分布之间的KL散度,可以实现属性信息和结构信息的融合。在聚类任务上取得了很好的效果。
Structural Deep Clustering Network (SDCN) [Bo et al., 2020]: 这项工作提出了一个结构化深度聚类网络,通过一个VAE和一个GVAE分别学习属性信息和结构信息,然后在隐空间中进行融合。同时,通过一个自协同训练策略,利用聚类结果来优化VAE和GVAE的重构误差,实现了端到端的无监督学习。
Graph Convolutional Variational Autoencoder with Dual Consistency Loss for Node Clustering [Chen et al., 2021]: 这项工作提出了一个带有双重一致性损失的图卷积变分自编码器,通过最小化属性重构误差、结构重构误差以及属性空间和结构空间的一致性损失,实现了属性信息和结构信息的有效融合。