8.DealMVC: Dual Contrastive Calibration for Multi-view Clustering DealMVC:双对比校准的多视图聚类

最新推荐文章于 2024-06-16 22:35:30 发布

小高是科研小白

最新推荐文章于 2024-06-16 22:35:30 发布

阅读量882

点赞数 17

文章标签：聚类数据挖掘机器学习

本文链接：https://blog.csdn.net/qq_39039754/article/details/137043809

版权

引用：Yang X, Jiaqi J, Wang S, et al. Dealmvc: Dual contrastive calibration for multi-view clustering[C]//Proceedings of the 31st ACM International Conference on Multimedia. 2023: 337-346.

作者：Xihong Yang National University of Defense Technology Changsha, Hunan, China
Jin Jiaqi National University of Defense Technology Changsha, Hunan, China
Siwei Wang Intelligent Game and Decision Lab Beijing, China
Ke Liang and Yue Liu National University of Defense Technology Changsha, Hunan, China
Yi Wen Suyuan Liu Sihang Zhou National University of Defense Technology Changsha, Hunan, China
Xinwang Liu∗ En Zhu∗ National University of Defense Technology Changsha, Hunan, China

一、摘要

近年来，多视图对比聚类由于具有较强的视图一致性信息挖掘能力，受到了广泛关注。然而，我们观察到以下缺点，这限制了聚类性能的进一步提高。现有的多视图模型主要关注同一样本在不同视图下的一致性，忽略了跨视图场景下样本相似但不同的情况。为了解决这一问题，我们提出了一种新的多视图聚类双对比校准网络(DealMVC)。具体而言，我们首先设计了一个融合机制来获得全局跨视图特征。然后，通过调整视图特征相似性图和高置信度伪标签图，提出了一个全局对比校准损失。此外，为了利用多视图信息的多样性，我们提出了一个局部对比校准损失来约束成对视图特征的一致性。特征结构通过可靠的类信息进行正则化，从而确保不同视图中的相似样本具有相似的特征。在训练过程中，交互的跨视图特征在局部和全局级别都进行了联合优化。在8个基准数据集上与其他最先进的方法相比，实验结果充分验证了我们算法的有效性和优越性。

二、引言

多视图聚类(MVC)近年来受到越来越多的关注。MVC的基本任务是揭示语义信息并将数据划分为几个互不关联的组。现有的多视图聚类算法大致分为常规聚类算法和深度聚类算法两大类。

传统的MVC算法优化了传统机器学习方法的制定。这些MVC方法基本上可以分为四类:非负矩阵分解(NMF)[1,25,59,73]、多核聚类(MKC)[28 - 31]、基于图的聚类[26,27,57]和子空间聚类方法[72,76 - 78]。具体来说，NMF对多视图数据使用矩阵分解。MKC算法通过多核学习框架从预定义的核矩阵中提取核矩阵。此外，基于图的聚类以统一的图结构利用多视图数据。此外，子空间聚类方法侧重于学习一致的子空间表示。然而，传统的多视图聚类方法存在表示提取能力差、计算复杂度高的问题，限制了聚类的性能。

由于出色的表示提取能力，深度聚类方法已被提出来缓解上述问题。深度图算法利用亲和矩阵直接对多视图数据进行聚类。此外，对抗式多视图算法利用生成器和判别器来对齐多视图数据的特征分布。最近，对比学习已成为许多领域的有效方法。COMPLETER通过对比学习学习了多视图数据的信息丰富且一致的表示。MFLVC通过对比策略学习了不同层次的特征。

尽管取得了令人期待的性能，但现有算法大多倾向于强调在不同视图之间保持相同样本的一致性，无意中忽视了跨视图场景中类似但不同样本的潜力。正如图1（a）所示，普遍的对比多视图聚类方法主要集中在保持相同样本之间的一致性，例如在视图1中的样本1和在视图2中的样本1。然而，一个普遍存在的情况涉及来自不同视图的样本之间的相似性，例如在视图1中的样本1和在视图2中的样本2。在无监督设置中解决保持跨视图内类似样本一致性的挑战构成了一个复杂的问题。

大多数多视图聚类方法关注的是保持同一样本在不同视图中的一致性，即将View1中的Sample1和View2中的Sample1拉近，而忽略了相似但不同样本的一致性，即View1中的Sample1和View2中的Sample2。

为了解决上述问题，我们提出了一种新颖的用于多视图聚类的双对比校准网络，称为DealMVC。我们的DealMVC框架如图2所示。首先设计了一个自适应的全局融合机制，以两种方式获取全局跨视图特征，即注意力机制和可学习的视图采样网络。详细描述如图3所示。之后，我们设计了一个全局对比校准损失，以保证具有相似特征的样本，该损失调整了视图特征相似性图和高置信度伪标签图。为了进一步挖掘多视图信息的多样性，我们为成对视图设计了局部对比校准损失。跨视图特征的结构与可靠的类信息保持一致。在训练过程中，视图特征和高置信度伪标签与双对比校准损失进行联合优化和交互。与现有的多视图聚类方法相比，对八个数据集进行的大量实验证明了我们提出的DealMVC的有效性和优越性。

图释：首先通过编码器网络获得视图特征Z。然后设计了一种自适应融合机制，获得全局视图特征。详细描述如图3所示。然后，将视图特征相似图与高置信度伪标签图对齐，以保持跨视图场景中不同但相似的样本的一致性。通过可靠的伪标签对特征视图结构进行正则化，并与网络进行交互和共同优化，从而提高了多视图聚类性能。

图3:自适应全局融合机制的说明。首先通过注意网络和多层感知器(MLP)网络分别获得两个分布a和q。之后，将注意权值 $a$ 与可学习视图采样概率 $q$ 结合起来，通过调节因子 $r \in \mathbb{R}^V$ 。当注意向量和视图采样概率分布相似时，r值较高，可以有效提取重要的视图信息。此外，通过自适应权向量 $w$ 可以得到全局视图特征 $Z^G$ 。

本文的主要贡献总结如下：

提出了一种新颖的深度对比多视图聚类算法，称为DealMVC。双对比校准机制保持了跨视图情景中类似但不同样本的一致性。
通过调整视图特征相似性图和高置信度伪标签图，视图特征结构受到可靠类信息的约束。
在8个基准数据集上进行的大量实验突显了所提出的DealMVC方法的优越性和效率。此外，通过消融研究和可视化实验验证了我们方法的有效性。

三、相关工作

四、方法

本节提出了一种新颖的用于多视图聚类的双对比校准网络，称为DealMVC。该框架如图2所示。此外，详细的符号和相应的含义总结在表1中。

4.1 AutoEncoder Module 自编码器模型

最近，许多研究 [11, 39] 表明自编码器在无监督场景中被广泛使用。受其有效性的启发，我们设计了自编码器模块来将特征投影到可定制的特征空间。通过这种方式，MVC 可以利用所有视图间的语义来提高聚类性能。具体而言，设 $Z^v=f(X^v;\theta ^v)$ 和 $\tilde{X}^v=g(Z^v;\phi ^v)$ 分别表示编码器和解码器过程。 $\theta ^v$ 和 $\phi ^v$ 是网络参数。因此，我们将输入 $X^v$ 与输出 $\tilde{X}^v$ 之间所有𝑣-view的重构损失设计为:

4.2 Adaptive Global Fusion Module 自适应全局融合模块

本节提出了一种自适应的全局融合机制，用于获取全局跨视图特征。基于 $Z^v=f(X^v;\theta ^v)$ ，设计了一个调节因子来自适应地融合 𝑣 个视图。。设 $\mathbf{w}=(w_1,w_2,...,w_v)$ 作为每个视图的权重向量。权向量 $\mathbf{w}\in\mathbb{R}^v$ 通过多头注意和可学习的视图样本概率向量两种方式获得。

具体而言，受注意机制成功的启发[18]，设计了一个注意网络来捕获多视图场景下的重要视图信息。每个视图的注意向量 $\mathbf{a} \in \mathbb{R}^V$ R，可计算为:

其中，𝑛𝑜𝑟𝑚为注意网络(ATT)之前的归一化，FFN为前馈网络。注意机制可以挖掘重要的观点信息。通过这种方式，融合的全局视图可以保留重要的语义模式。

同时，为了避免注意机制带来的训练误差，在训练过程中利用可学习的视图采样概率向量 $q\in \mathbb{R}^v$ 来动态融合视图。具体地，首先使用均匀分布初始化 $q$ 。然后，按如下方式优化 $q$ ：

其中， $h(\cdot ;\gamma )$ 为视图概率网络。这里采用多层感知器(MLP)网络作为骨干网络。在训练过程中根据网络动态调整采样概率。

在此基础上，提出了一种将注意力机制与可学习视图采样概率相结合的调节因子。调节因子 $r \in \mathbb{R}^v$ ，可定义为:

其中， ⊙ 表示Hadamard积。通过这种方法，每个视图的融合概率直接与注意力向量和视图采样概率相关联。换句话说，当注意力向量的分布与视图采样概率的分布更相似时，用于调整视图融合的调节因子更加显著。

基于调节因子，设计自适应融合策略，获得全局视图特征。具体来说，权向量 $\mathbf{w}$ 通过调节因子 $\mathbf{r}$ 与Hadamard积进行调节。融合的全局视图特征 $Z^G$ 可以表述为:

这里的 𝑡 是迭代次数。与先前的视图融合策略不同，我们的视图融合策略更加全面和可靠。我们分析的原因如下：

1）自适应权重向量 $\textbf{w}$ 包含两个方面的信息。可学习的视图采样网络和注意力机制可以以两种方式捕获重要的视图信息，并且可以由网络共同优化。

2）随着调节因子 $\mathbf{r}$ 的调整，在两种融合策略中当概率分布相似时，主要关注主要视图信息。

4.3 Dual Contrastive Calibration Module 双对比校准模型

本小节设计了一个双对比校准模块，以在全局和局部视图层面上保持跨视图情景中类似但不同样本的一致性。由编码器网络 $f(\cdot ;\theta ^v)$ 获得 $v$ 个视图的特征 $\{Z^v\}^V_{v=1}$ ，其中 $v$ 表示视图数。

基于融合的跨视图特征 $Z^G \in \mathbb{R} ^{N \times D}$ ，首先获得全局跨视图特征的伪标签 $P^G \in \mathbb{R} ^{N \times K}$ 。

𝐶𝑙𝑎𝑠𝑠𝑖𝑓𝑦(·)分类。然后，通过（7）式构造全局伪标签图 $W^G \in \mathbb{R}^{N \times N}$ 。

其中， $\imath$ 为阈值。 $W^G$ 的对角线元素表示跨视图特征中相同样本的类概率。对于其他元素，如果计算出的相似度低于阈值 $\imath$ $\imath$ $\imath$ ，则样本在伪标签图中不相连。然后，构建全局跨视图特征图 $S^G \in \mathbb{R}^{N \times N}$ :

其中 〈·, ·〉 表示内积。为了保持全局跨视图特征中相似但不同样本的一致性，将全局跨视图特征相似性图与高置信度伪标签图对齐，具体如下：

（9）式中的第一项将相同样本推向在跨视图特征中靠近。第二项迫使相似但不同的样本具有相同的聚类。在训练过程中，伪标签图作为指导来训练跨视图特征图。

为了进一步利用多视图信息的多样性，我们为成对视图特征设计了一个局部对比校准损失。给定视图特征 {Z_𝑣}，通过以下方式为每个视图获得伪标签 {p_𝑣}：

其中， 𝐶𝑙𝑎𝑠𝑠𝑖 𝑓 𝑦(·) 是分类头。然后，通过计算任意两个视图伪标签 $p^m$ $p^m$ 和 $p^n$ 的相似度矩阵 $\textbf{W}^mn \in \mathbb{R} ^{N \times N}$ 来构建伪标签图，可以表示为：

其中，m,n∈[1,V]。类似于 $W^G$ $W^G$ ， $W^{mn}$ 的对角线元素表示不同视图中相同样本的类别概率。对于其他元素，在相似度高于阈值 $\imath$ 时，伪标签图中会建立连接。

为了进一步构造视图特征图，我们计算任意两个视图特征 $Z^m$ 和 $Z^n$ $Z^n$ 之间的相似矩阵 $S^{mn} \in \mathbb{R}^{N \times N}$ 二进制二进制操作:

其中，〈·, ·〉 表示内积。m,n∈[1,V]。为了保持局部跨视图中相似但不同样本的一致性，将伪标签图 $W \in \mathbb{R} ^{N \times N}$ 与视图特征图 $S\in \mathbb{R}^{N \times N}$ 对齐为：

由于局部跨视图特征是由两两视图特征构建的，因此存在着 $C^2_v$ 种组合，因此将变量B的值设为 $C^2_v$ .

在（13）中，第一项鼓励不同视图中的相同样本生成相似的特征。这是构建的伪标签图中的自环。此外，第二项鼓励在不同视图中具有相似伪标签的不同样本具有相似的特征，从而保持跨视图中的一致性。

4.4 Objective Function 目标函数

对于多视图数据，通常需要保持标签信息的一致性。根据这个假设，我们设计了一个均方误差损失来保持局部和全局水平上伪标签图的一致性:

因此，所提出的DealMVC目标函数包含重构损失 $L_R$ 、局部对比校准损失 $L_{𝑙𝑜𝑐𝑎𝑙}$ 、全局对比校准损失 $L_{𝑔𝑙𝑜𝑏𝑎𝑙}$ 和伪标签一致性损失 $L_{𝑐𝑜𝑛}$ 。综上所述，DealMVC的目标制定如下:

五、实验

六、结论

设计了一种新颖的用于多视图聚类的双对比校准网络，称为DealMVC。具体地，提出了一个融合机制来获取全局跨视图特征。然后，通过全局对比校准损失来调整视图特征相似性图和高置信度伪标签图，使得跨视图特征中的相似但不同样本保持一致。为了进一步利用多视图数据的多样性，设计了一个局部对比校准损失来约束成对视图特征的一致性。跨视图局部特征的结构由可靠的类信息进行了规范化，从而保证了相似但不同的样本具有相同的聚类。在训练过程中，跨视图特征在局部和全局级别都进行了优化。对八个数据集进行的全面实验充分证明了提出的多视图聚类算法的有效性。

小高是科研小白

关注

17
点赞
踩
20

收藏

觉得还不错? 一键收藏
1
评论
8.DealMVC: Dual Contrastive Calibration for Multi-view Clustering DealMVC:双对比校准的多视图聚类

引用：Yang X, Jiaqi J, Wang S, et al. Dealmvc: Dual contrastive calibration for multi-view clustering[C]//Proceedings of the 31st ACM International Conference on Multimedia. 2023: 337-346.
复制链接

扫一扫