【论文阅读】深度加权多视图聚类的自监督图注意网络

Self-Supervised Graph Attention Networks for Deep Weighted Multi-View Clustering

原文链接
现有的基于gnn的MVC方法在训练过程中，普遍没有充分考虑到自监督信息的使用，从而无法取得较好的效果。为此，本文提出了用于深度加权多视图聚类的自监督图注意网络(SGDMC)，该网络利用自监督信息从两个方面增强了基于图的深度MVC模型的有效性。首先，提出了一种同时考虑节点属性相似性和自监督信息的注意力分配方法，以综合评价不同节点之间的相关性;其次，为了减轻样本噪声和聚类结构差异带来的负面影响，进一步设计了一种基于注意力图的样本加权策略，以及每个单一视图的全局伪标签与局部聚类分配之间的差异。

Fig1:SGDMC的框架。SGDMC由四个模块组成:1)特征学习编码器将原始数据投影到低维隐嵌入中;2)自监督图注意层基于属性和自监督信息对节点特征进行聚合;3)聚类层将所有视图的潜在表示连接起来，生成用于自监督训练的伪标签;4)样本加权模块根据注意图及其局部聚类分配与伪标签的差异，对节点分配不同的权重。

方法

网络结构

SGDMC的网络架构由四种不同类型的模块组成，即特征学习编码器、自监督图关注层、聚类层和样本加权模块。

特征学习编码器

每个节点的重构损失：

自监督图关注层

采用新的注意力分配机制对自编码器学习到的潜在特征进行聚合。
首先通过kNN图算法为每个视图构建相邻图Gv。在获得相邻图后，方法基于一种新颖的注意力分配方法为这些边分配不同的权重。具体来说，在某一次迭代中，赋给边缘Gv (i, j)的权值ev ij的计算公式为：

其中γ为高斯核的控制参数，wvj, pi, pj分别表示第j个样本的可靠性，第i个和第j个样本的自监督伪标签。
通过softmax函数归一化后，第v个视图Av的注意矩阵内的元素有：

Eq.4分配给Gv (i, j)的注意力主要由潜在特征的高斯相似度和端点之间伪标签的余弦相似度决定。因此，基于局部属性信息和全局聚类分配信息来评估不同节点的相关性，从而显著增强了自关注层的聚合能力。
得到注意矩阵后，采用加权两层平面残差网络对潜在特征进行细化：

聚类层

在本模块中，采用(Xu et al . 2022b)中提出的自训练策略，通过优化局部聚类分配Qv与全局伪标签P之间的差异，利用自监督信息对整个模型进行训练。
设Qv = {qv1;qv2;……;q v n}∈Rn×k表示第v个视图中的聚类分配。
为了得到P，首先将所有视图中的精细化嵌入连接为一个统一的表示：

为了缓解噪声问题，每个样本根据其从所有视图接收到的注意力ηi进行加权：

在式(9)中，ηi的值表示所有视图中其他样本对第i个样本的关注之和。
每个样本的全局权重wi为：

应用加权k-means生成全局聚类质心cj：

根据Student 's t-分布，各节点与各聚类质心的软分配sij为：

通过锐化软赋值，全局伪标签P：

得到P后，我们将伪标签pi与q vi之间的Kullback-Leibler散度定义为每个样本的聚类损失l v c (i)，并在自监督训练过程中进行优化：

样本加权模块

为了减轻噪声样本的影响以及局部和全局聚类分配之间的差异，方法在每次T次迭代中获得伪标签后，更新不同视图下的样本权值：

对局部分配与伪标签分配不同的样本的权重进行降低。

将样本权值Eq.(15)、重构损失Eq.(3)和聚类损失Eq.(14)合并到一个统一的框架中，SGDMC的目标函数为：

当整个训练过程完成后，再次计算伪标签P，第i个样本的最终聚类分配yi为：

为了提高基于gnn的具有自监督信息的MVC模型的有效性，本文提出了用于深度加权多视图聚类(SGDMC)的自监督图注意网络。具体而言，为了准确评估样本的相关性，增强图注意层的聚合能力，提出了一种考虑局部和自监督信息的注意力分配策略。此外，为了减轻样本噪声和全局与局部聚类结构差异对算法的负面影响，提出了一种基于注意力图和全局伪标签与局部聚类分配差异的样本加权机制。在不同类型的多视图真实数据集上的实验证明了所提出方法的最先进性能。