9.MVCformer: A transformer-based multi-view clustering method 基于transformer多视图聚类方法

引用：Zhao M, Yang W, Nie F. MVCformer: A transformer-based multi-view clustering method[J]. Information Sciences, 2023, 649: 119622.

作者：赵明宇,杨卫东 ，, Feiping Nie

a School of Computer Science, Fudan University, Shanghai 200433, PR China b School of Computer Science, School of Artificial Intelligence, Optics and Electronics (iOPEN), and the Key Laboratory of Intelligent Interaction and
Applications (Ministry of Industry and Information Technology), Northwestern Polytechnical University, Xi’an 710072, Shaanxi, PR China

一、摘要

       背景：近年来，基于图的多视图聚类方法由于能够整合多个视图的互补特征，从而将样本划分到相应的聚类中，受到了广泛的关注。挑战：然而，现有的基于图的方法大多属于浅模型，无法从复杂的多视图数据中提取潜在信息。方法：受self-attention的成功启发，本文提出了一种基于transformer的多视图聚类方法MVCformer，该方法学习深度非负谱嵌入作为一阶段聚类分配的指示矩阵。此外，设计了一种简单有效的优化框架，将相似图的重构损失与正交损失相结合，使学习到的非负嵌入列正交。结果：在9个基准多视图数据集上进行了大量实验，验证了该方法的有效性。实验结果表明，该方法与现有方法相比具有优越性。

二、引言

        聚类是无监督学习领域中最基本的任务之一。在过去几十年里，许多聚类方法已经被提出来了，并在各种实际应用中使用。随着大数据时代的到来，数据集中的样本通常来自多个来源和角度，这种多视图数据在许多领域中都是普遍存在的。传统方法：然而，传统的聚类模型只关注单一视图情况，忽视了来自多个来源或视图的信息。因此，开发有效的多视图聚类方法对于获得更准确的聚类结果至关重要。

        由于挖掘非线性特征的优越性，基于图的多视图模型具有较好的聚类性能。为了在一个阶段确定聚类标签，许多基于图的模型旨在学习一个指标矩阵来直接获得结果。将谱聚类与对称NMF相结合，提出了正交非负图重构(orthogonal and non-negative graph reconstruction, ONGR)方法[14]，采用非负谱嵌入作为指标矩阵，实现单视图聚类，并取得了可观的性能。通过将这种方法扩展到多视图聚类，从ONGR的角度提出了许多模型[15-17]。不幸的是，这些方法都是浅层模型，提取隐藏在数据集中的深层潜在信息的能力有限。

       最近，已经提出了各种基于深度学习的方法来揭