论文调研-多模态聚类

一、文献总述

（一）文献1：Deep Incomplete Multiview Clustering via Local and Global Pseudo-Label Propagation 通过局部和全局伪标签传播的深度不完全多视图聚类

1、问题当前进展

在多视图聚类中，数据的不完整性是一个主要挑战，因为它可能导致聚类结果的偏差和性能下降。为应对这一问题，研究者开发了多种方法，特别是基于深度学习的方法，这些方法通过深度神经网络的高级特征表示能力来提升聚类效果。尽管这些方法在一定程度上有效，但它们通常依赖于样本或亲和性的线索，而缺乏对标签信息的利用，并且在处理不完整数据时效率不高。

2、创新/贡献

提出了一种新颖的深度不完全多视图聚类方法，通过局部和全局伪标签传播来提升聚类性能。

3、引用信息

Feng C, Li A, Xu H, et al. Deep Incomplete Multiview Clustering via Local and Global Pseudo-Label Propagation[J]. IEEE Transactions on Neural Networks and Learning Systems, 2024.

（二）文献2：S2MVTC: a Simple yet Efficient Scalable Multi-View Tensor Clustering 一个简单而高效可扩展的多视图张量聚类

1、问题当前进展

当前的多视图聚类（MVC）方法主要基于自表示学习或图学习，目的是找到共识嵌入特征。这些方法需要更新大量的会员图来构建亲和矩阵，然后输入到谱聚类算法中，这导致了存储和计算需求随着数据规模的增长而急剧增加。为了解决大规模数据的问题，提出了基于锚点的可扩展MVC方法，但这些方法仍然依赖于锚点图或投影矩阵之间的全局相关性。

2、创新/贡献

与现有基于锚点的方法不同，S2MVTC直接学习嵌入特征的视图间和视图内的相关性；利用新定义的TLFA算子，S2MVTC在不同视图中实现了嵌入特征的平滑表示。

3、引用信息

Long Z, Wang Q, Ren Y, et al. S2MVTC: a Simple yet Efficient Scalable Multi-View Tensor Clustering[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024: 26213-26222.

（三）文献3：Multi-view and Multi-order Graph Clustering via Constrained L1, 2-norm 多视图多阶图聚类算法基于约束 L1,2-norm

1、问题当前进展

基于图的多视图聚类算法通过对不同视图的一阶图进行一致图学习，获得了较好的聚类性能。然而，一阶图通常是稀疏的，缺乏必要的必须链接信息，这导致了次优共识图。虽然高阶图可以解决这个问题，但涉及选择固定数量的高阶图并进行融合的两步策略可能导致信息丢失或冗余，从而限制了对高阶信息的探索。

2、创新/贡献

提出了基于约束的L1,2-范数(MoMvGC)的多视图和多阶图聚类方法，减轻了图稀疏性对多视图聚类的影响。通过创新地设计约束的L1,2-范数，该模型巧妙地将多阶图的选择和相应的权值学习整合到一个统一的框架中。此外，MoMvGC不仅支持多阶图的稀疏选择，还支持视图的同时选择。然后，作者设计了一种高效的替代优化算法来解决MoMvGC中的优化问题。

3、引用信息

**n H, Hao Z, Sun Z, et al. Multi-view and Multi-order Graph Clustering via Constrained l1, 2-norm[J]. Information Fusion, 2024, 111: 102483.

（四）文献4：Multiview Tensor Spectral Clustering via Co-regularization 基于协同正则化的多视图张量谱聚类

1、问题当前进展

最近的研究提出了不同的策略来整合来自不同视图的互补相关性，一种直观的方法是将来自不同视图的数据直接连接为矢量，随后将传统的单视图方法应用于拼接数据，然而，这种方法忽略了多视点数据之间的异质性和比例尺的差异。

2、创新/贡献

该方法提出了一种统一的多视图聚类框架，该框架通过引入多阶亲和力来准确描述视图内的样本关系。每个视图的低维表示在流形空间上共同正则化，目的是最小化测地线距离并实现对齐。此对齐过程提高了共识表示的质量，最终导致改进了作为反馈的划分性能。

3、引用信息

**n H, Hao Z, Sun Z, et al. Multi-view and Multi-order Graph Clustering via Constrained l1, 2-norm[J]. Information Fusion, 2024, 111: 102483.

二、具体内容

（一）文献1：Deep Incomplete Multiview Clustering via Local and Global Pseudo-Label Propagation 深度不完全多视图聚类：通过局部和全局伪标签传播

1、想要解决的问题

如何在不充分视图条件下有效和高效地利用伪标签进行多视图聚类。

2、思想

利用从不完整数据的完整子集中学习到的高质量伪标签，通过深度标签传播网络来获得改进的聚类结果。

3、方法

 ①伪标签初始化：通过现有的多视图聚类方法从完整特征中提取伪标签，选择了有效的稀疏子空间聚类方法，并扩展到多视图场景。对于每个样本i，检查是否在所有m个视图中都有数据，如果有Mij被设置为m，否则为0；利用这些完整样本P通过多视图稀疏子空间聚类方法来获得伪标签。

②局部传播模型：它首先从不完整的数据集中的完整子集获取高质量的伪标签，然后通过图卷积网络将这些伪标签传播到同一视图的不完整样本上，学习视图特定的标签空间，并通过类别概率的平均融合来构建统一的标签空间。此外，为了高效处理大规模数据集，实现了小批量训练策略，该策略通过分批次处理特征和图来避免内存溢出，并在每个批次上独立计算损失和执行梯度更新。

③全局传播模型：全局模型包括多个视图的图t-SNE编码器，一个用于统一表示的非参数融合层和一个线性分类器头以进行标签预测。首先，将不完整的多视图属性图输入编码器和融合层，连续获得完整的统一表示。然后，将统一表示输入分类器头以获得统一标签预测。编码器和分类器头联合训练到收敛。全局模型的损失函数包括两个部分：标签预测的掩码交叉熵损失和流形正则化损失。掩码交叉熵损失用于标签预测，而流形正则化损失用于保持高维空间中的流形信息到低维潜在空间中。 

4、数据

研究团队在八个公开的基准数据集上进行实验，这项研究选取了七个类别：树、脸、牛、建筑、车、飞机和自行车。每张图像还提取了六种特征：CENT、CMT、GIST、HOG、LBP和SIFT，以创建不同的视图。

5、实验结果

 ①局部模型的性能：研究团队在六个数据集上进行了局部模型与其他方法的比较实验，如图3所示。总体而言，他们的性能优越。比如，在Digits-10数据集上可以看到，局部模型在所有三个指标上均优于其他方法，在性能上排名第一。 

②全局模型的性能：接下来在六个数据集上进行了全局模型与其他方法的比较实验，性能远远超过其他方法。

 ③大规模数据集上的性能：对两个大规模数据集进行了比较实验，以展示提出方法的整体性能。特别是，两种方法都利用了小批量训练策略，以避免在大规模数据集上的内存溢出问题。尽管他们的方法在大数据集上的运行时间可能不是最短的，但在性能方面显著优于其他方法。

 （二）文献2：S2MVTC: aSimple yet Efficient Scalable Multi-View Tensor Clustering 一个简单而高效可扩展的多视图张量聚类

1、想要解决的问题

如何直接探索不同视图之间的嵌入特征的相关性。

2、思想

通过将不同视图的嵌入特征堆叠成一个张量并进行旋转来构建嵌入特征张量。接着，作者设计了一种新颖的张量低频近似TLFA算子，该算子将图相似性整合到嵌入特征学习中，有效地实现了不同视图内嵌入特征的平滑表示。此外，引入了共识约束，以确保嵌入特征之间的语义一致性。通过将这些组件整合到统一框架中，S2MVTC能够高效地利用多视图信息进行大规模多视图聚类任务。

3、方法

 ①构建嵌入特征张量：首先，对于每个视图v，通过对应的投影矩阵Uv将锚图映射到嵌入特征矩阵Bv。这些嵌入特征矩阵是K*N维度的矩阵，其中K是特征维度，N是样本数量；将所有视图的嵌入特征Bv沿着新的维度堆叠起来，形成一个K*V*N维度的张量B，其中V是是视图的数量；为了进一步探索视图间的相关性，S2MVTC方法对堆叠后的张量B进行旋转操作。旋转操作是通过将张量的最后一个维度（样本维度）进行循环移动来实现的。这样，每个视图的嵌入特征都会在新的张量中与其它视图的特征相邻，从而有助于捕捉视图间的相关性。

②TLFA算子：旋转后的张量B被用于定义TLFA算子，该算子通过在频率域中选择低频成分来实现嵌入特征的平滑表示。TLFA的数学表达式如下：

4、数据

作者使用了六个大型多视图数据集来评估S2MVTC的有效性，并与多个现有的聚类算法进行了比较。评估指标包括准确度（ACC）、归一化互信息（NMI）、纯度（Purity）、F分数、精确度（PRE）、召回率（REC）、调整后的兰德指数（ARI）和CPU时间。

5、实验结果

 ①模型聚类性能：实验结果显示，S2MVTC在多个评估指标上显著优于其他比较算法，尤其是在处理大规模数据集时。S2MVTC在ACC、NMI、Purity、F-score、PRE、REC和ARI等指标上均取得了更好的结果。

 ②嵌入学习性能： 下图是CCV 数据集上使用 S2MVTC 方法进行嵌入特征学习的过程，说明了S2MVTC方法如何通过迭代优化和TLFA算子来逐步改善特征表示，从而提高多视图聚类的性能。通过t-SNE可视化，可以观察到特征如何在迭代过程中变得更加紧凑和区分度更高，这有助于实现更好的聚类效果。

（三）文献3：Multi-view and Multi-order Graph Clustering via Constrained L1, 2-norm 多视图多阶图聚类算法基于约束 L1,2-norm

1、想要解决的问题

大多数基于图的多视角聚类算法容易受到图稀疏性的影响，这极大地阻碍了图融合。固定数量的多阶图选择可能导致信息丢失或冗余，导致次优的共识图。此外，在真实世界的数据集中，某些视角中的噪声显著超过了有用信息。对于这样的视角，不得不丢弃它们，以避免其对共识图学习的负面影响。因此，必须不仅选择适当的高阶图，还要同时选择相关视角。

2、思想

核心思想是受特征选择模型启发，创新性地提出了约束L1,2-范数，以自适应地选择来自不同视角的多阶图。 

3、方法

 ①获得每个视图的K阶图：给定包含V个视图的多视图数据，可以通过 KNN 算法生成一阶图，然后通过上式获得每个视图的K阶图。CK表示第v个视图的第k阶图。目标是最小化共识图S与所有视图的多阶图之间的平方误差之和，受限于对权重系数应用约束范数，定义如下：

②视角和多阶图的同时选择：模型通过引入L1,2-norm范数来对权重矩阵H进行正则化。这种范数可以促进权重矩阵中的行稀疏性，意味着每个视图只有少数几个非零权重，从而实现对多阶图的选择。每个权重系数Hvk与对应的多阶图Cvk相关联权重系数的大小直接影响了该多阶图在构建共识图S时的重要性。通过优化这些权重，模型可以选择对最终聚类结果贡献较大的多阶图。模型的目标函数结合了共识图S与所有视图的多阶图之间的平方误差之和，以及正则化项。这个目标函数通过H的L1，2-norm和S的Frobenius 范数项，鼓励模型选择重要的视图和多阶图，同时保持共识图的质量。 

4、数据

作者使用九个真实世界的数据集从不同方面验证MoMvGC的聚类性能，例如聚类性能、敏感性分析和收敛性分析。

5、实验结果

表1展示了四个常用聚类性能指标的结果。结果显示，所提出的模型在所有九个数据集上始终优于或接近现有方法，这由大多数采用的指标证明。这表明高阶图在基于图的多视图聚类领域中具有优越的性能。此外，模型的聚类指标表现出零方差，表明MoMvGC模型具有强大的稳定性及其优越的聚类性能。

（四）文献4：Multiview Tensor Spectral Clustering via Co-regularization 基于协同正则化的多视图张量谱聚类

1、想要解决的问题

主要针对的是高维低样本量（HDLSS）数据的聚类问题，这类数据在传统的聚类算法中由于维度灾难（curse of dimensionality）而表现不佳。

2、思想

该框架通过引入多阶亲和力来精确描述视图内的样本关系，对齐流形空间上的视图的潜在表示。通过使用交替最小化策略和奇异值分解，提高了模型的效率。并设计了一套新的评估指标来综合评估CRMATS在捕获数据底层结构方面的性能，并在聚类任务中考虑了簇内的相似性和簇之间的差异性。

3、方法

 (1)高阶亲和性：为了精确揭示数据的视图内空间关系，引入了高阶亲和性，捕捉复杂的样本交互，有效消除每个视图内的集中效应。对于一个由HDLSS数据样本组成的组C，定义其总归一相似性（Sim(C)）为，其中L代表归一化的r阶亲和性张量。

(2)共正则化学习和流形约束：为了有效整合具有异质相关性的多视图数据，通过共正则化学习和流形约束对每个视图的低维表示进行对齐，充分利用HDLSS数据的跨视图空间互补性。

a.共正则化学习：目标是通过对不同视图的低维表示进行对齐，来充分利用HDLSS（High-Dimensional Low Sample Size）数据的跨视图空间互补性。

b.流形约束LL用于在低维空间中捕捉高维数据的复杂结构。通过将嵌入限制在流形空间中，来增强HDLSS任务的低维表示的判别力。

4、数据

论文对8个HDLSS数据集进行了全面的实验研究，其中包括6个真实数据集和2个HDLSS合成数据集：Syndata1和Syndata2。

5、实验结果

 ①2个HDLSS合成数据集：与Syndata1上的其他方法相比，CRMATS方法在NMI方面显示出显著的改进。Syndata2中的大多数样本混合在一起，缺乏明确的分离。相比之下，CRMATS方法实现的共识表示成功地分离子类别，没有任何重叠。原始样品的亲和热图缺乏明确的边界和块状结构。然而在应用CRMATS之后，从低维嵌入获得的亲和力显示出明显的边界，表明该方法能够缓解潜在的偏差。结果表明，不同阶亲和度的融合方法在完全捕捉合成数据上的数据结构方面优于传统的成对亲和度、低秩数和张量方法。 

②在真实数据集上的实验：CRMATS方法生成了一致的表示，表现出更好的分离和更少的重叠，从而导致更好的聚类性能。对亲和力热图的比较也验证了该方法的有效性。