引用:Yang X, Jiaqi J, Wang S, et al. Dealmvc: Dual contrastive calibration for multi-view clustering[C]//Proceedings of the 31st ACM International Conference on Multimedia. 2023: 337-346.
作者:Xihong Yang National University of Defense Technology Changsha, Hunan, China
Jin Jiaqi National University of Defense Technology Changsha, Hunan, China
Siwei Wang Intelligent Game and Decision Lab Beijing, China
Ke Liang and Yue Liu National University of Defense Technology Changsha, Hunan, China
Yi Wen Suyuan Liu Sihang Zhou National University of Defense Technology Changsha, Hunan, China
Xinwang Liu∗ En Zhu∗ National University of Defense Technology Changsha, Hunan, China
一、摘要
近年来,多视图对比聚类由于具有较强的视图一致性信息挖掘能力,受到了广泛关注。然而,我们观察到以下缺点,这限制了聚类性能的进一步提高。现有的多视图模型主要关注同一样本在不同视图下的一致性,忽略了跨视图场景下样本相似但不同的情况。为了解决这一问题,我们提出了一种新的多视图聚类双对比校准网络(DealMVC)。具体而言,我们首先设计了一个融合机制来获得全局跨视图特征。然后,通过调整视图特征相似性图和高置信度伪标签图,提出了一个全局对比校准损失。此外,为了利用多视图信息的多样性,我们提出了一个局部对比校准损失来约束成对视图特征的一致性。特征结构通过可靠的类信息进行正则化,从而确保不同视图中的相似样本具有相似的特征。在训练过程中,交互的跨视图特征在局部和全局级别都进行了联合优化。在8个基准数据集上与其他最先进的方法相比,实验结果充分验证了我们算法的有效性和优越性。
二、引言
多视图聚类(MVC)近年来受到越来越多的关注。MVC的基本任务是揭示语义信息并将数据划分为几个互不关联的组。现有的多视图聚类算法大致分为常规聚类算法和深度聚类算法两大类。
传统的MVC算法优化了传统机器学习方法的制定。这些MVC方法基本上可以分为四类:非负矩阵分解(NMF)[1,25,59,73]、多核聚类(MKC)[28 - 31]、基于图的聚类[26,27,57]和子空间聚类方法[72,76 - 78]。具体来说,NMF对多视图数据使用矩阵分解。MKC算法通过多核学习框架从预定义的核矩阵中提取核矩阵。此外,基于图的聚类以统一的图结构利用多视图数据。此外,子空间聚类方法侧重于学习一致的子空间表示。然而,传统的多视图聚类方法存在表示提取能力差、计算复杂度高的问题,限制了聚类的性能。
由于出色的表示提取能力,深度聚类方法已被提出来缓解上述问题。深度图算法利用亲和矩阵直接对多视图数据进行聚类。此外,对抗式多视图算法利用生成器和判别器来对齐多视图数据的特征分布。最近,对比学习已成为许多领域的有效方法。COMPLETER通过对比学习学习了多视图数据的信息丰富且一致的表示。MFLVC通过对比策略学习了不同层次的特征。
尽管取得了令人期待的性能,但现有算法大多倾向于强调在不同视图之间保持相同样本的一致性,无意中忽视了跨视图场景中类似但不同样本的潜力。正如图1(a)所示,普遍的对比多视图聚类方法主要集中在保持相同样本之间的一致性,例如在视图1中的样本1和在视图2中的样本1。然而,一个普遍存在的情况涉及来自不同视图的样本之间的相似性,例如在视图1中的样本1和在视图2中的样本2。在无监督设置中解决保持跨视图内类似样本一致性的挑战构成了一个复杂的问题。
大多数多视图聚类方法关注的是保持同一样本在不同视图中的一致性,即将View1中的Sample1和View2中的Sample1拉近,而忽略了相似但不同样本的一致性,即View1中的Sample1和View2中的Sample2。
为了解决上述问题,我们提出了一种新颖的用于多视图聚类的双对比校准网络,称为DealMVC。我们的DealMVC框架如图2所示。首先设计了一个自适应的全局融合机制,以两种方式获取全局跨视图特征,即注意力机制和可学习的视图采样网络。详细描述如图3所示。之后,我们设计了一个全局对比校准损失,以保证具有相似特征的样本,该损失调整了视图特征相似性图和高置信度伪标签图。为了进一步挖掘多视图信息的多样性,我们为成对视图设计了局部对比校准损失。跨视图特征的结构与可靠的类信息保持一致。在训练过程中,视图特征和高置信度伪标签与双对比校准损失进行联合优化和交互。与现有的多视图聚类方法相比,对八个数据集进行的大量实验证明了我们提出的DealMVC的有效性和优越性。
图释:首先通过编码器网络获得视图特征Z。然后设计了一种自适