文献阅读：Deep Incomplete Multi-view Clustering with Cross-view Partial Sample andPrototype Alignment

本文为作者看文献后所理解的知识

目录：

01 摘要(Abstract)

02 引言(Introduction)

03 相关工作(Related work)

04 建议方法(Propsed Method)

05 实验(Experiments)

06 结论(Conclusion)

一、摘要

背景：现有的多视角聚类的成功依赖于跨多个视角的样本完整性假设。然而，在现实场景中，由于数据损坏或传感器故障，多视图样本仅部分可用，导致了不完整的多视角聚类研究（IMVC）。背景总结：尽管已经提出了几种解决IMVC的尝试，但它们存在以下缺点：i) 现有方法主要采用跨视图对比学习，强迫每个样本在不同视图中的表示完全相同，这可能忽略了视图差异和表示的灵活性; ii) 由于多个视图中缺乏未观察到的样本，聚类的获得原型可能不对齐且存在偏差，导致错误的融合。本文工作：为了解决上述问题，我们提出了一种用于深度不完整多视角聚类的跨视图部分样本和原型对齐网络（CPSPAN）。首先，与现有基于对比的方法不同，我们采用成对观察数据对齐作为“代理监督信号”，以引导视图间实例对应关系的构建。然后，针对IMVC中的偏移原型，我们进一步提出了一个原型对齐模块，以实现跨视图的不完整分布校准。实验结果和总结：大量实验结果展示了我们提出模块的有效性，在基准数据集上相对于现有IMVC竞争对手获得了显著的性能提升。

二、引言 

1. 大背景：在现代社会中，用于实际应用的数据通常来自不同领域、传感器或特征提取器，这导致了文献中的多视角学习。在不完整视图信息下学习更有区分力的共识表示对于实现更好的不完整多视角聚类性能至关重要。然而，传统的 IMVC 方法基于原始特征，因此性能严重依赖于特征质量。
2. 小背景：深度神经网络在学习高层次表示方面表现出卓越性能，深度学习已经在计算机视觉和模式分类的各个领域得到广泛应用。IMVC 可以被视为 “部分对齐” 多视图设置的特殊情况，在这种情况下，成对观察到的数据提供了受监督的实例对齐信号。
3. 提出问题：从不完整的多视角数据中学到的分布可能由于不充分的多视图数据而存在偏差。有必要匹配不同视图之间原型的关系，并相应地执行聚类任务。

   

   图形解析：和左侧的图像为原型偏移问题，#1就是错误的跨视图原型对应关系。和右侧的图像为视图没有与原型对齐的不完全多视图聚类视图。灰色为missing instance就是确实的实例，绿色和蓝色的部分叫complete instance就是完整的实例。由于数据不足，所学习到的数据分布可能会有所偏差。在聚类任务中，灵活的表达方式可能导致每个聚类的原型发生偏移和偏差，这会对聚类结果产生影响。作者称这种情况为“原型偏移问题”。这个问题在完整多视图数据中已经有了相关研究，但在不完整的多视图数据中影响更大。目前的一些聚类方法忽略了这个问题，并且没有探究同一视图内不同实例之间的关系，这可能会进一步加剧“原型偏移问题”。因此，有必要对不同视图中的原型关系进行匹配，并据此进行聚类任务。
4. 提出本文的研究和解决问题：为了解决上述问题，作者提出了一种名为跨视图部分样本和原型对齐网络（CPSPAN）的新方法，用于深度不完全多视角聚类，以执行跨视图部分样本对齐并解决原型偏移问题。
   CPSPAN的框架如图所示：

   

   
   图像解析：具体来说，不同于对比学习模式，跨视图实例对齐模块通过下图中的成对观察数据在每对视图之间建立样本的视图对应关系，以此挖掘视图之间的结构信息。下图为视图i和视图j之间的数据情况。"成对观察数据" 指的是在两个视图中都有完整信息的实例，也就是这些实例在视图 i 和 j 上的信息都是完整的。而 "不成对数据" 则是指其中一个视图中缺少信息的实例，即在某个视图上信息完整，但在另一个视图上有缺失的情况。

   

   
   随后，为了解决不完整场景中的原型偏移问题，原型对齐模块将一个视图的原型集作为锚点，并解决两组原型之间的置换矩阵，从而建立基于最优输运理论的原型对原型的对应关系。由于原型是基于样本获得的，因此该模块不仅校准了跨视图偏移原型之间的对应关系，还编码了同一视图样本之间的关系。最后，由于我们的模型在前期不需要进行数据填补，为了最终在执行特征融合和聚类之前对视图之间的嵌入进行对齐，我们为缺失项填充构建了跨视图结构关系转移。
5. 贡献总结：

   （1）作者提出了一种新型深度网络来处理 IMVC 任务，称为 CPSPAN。与现有的多视图对比学习方式不同，作者从一个新的视角考虑了 IMVC，采用了部分对齐的设置。为此，CPSPAN 最优化地最大化了成对观察数据之间的匹配对齐，并构建了跨视图交集。

   （2）为了解决由不完整信息引起的原型偏移问题，CPSPAN 提出进一步对不同视图之间的原型集进行对齐，以挖掘一致的跨视图结构信息。

   （3）大量实验清楚地展示了所提出的跨视图部分样本和原型对齐模块的有效性，并且在传统方法和深度 SOTA 方法上具有优越性。

三、相关工作

这部分工作主要是涉及符号的说明、公式的使用等，读者可自行前往原文查看。

 四、方法

1. 表示学习模块和原型集生成：我们为每个视图配备了一个自编码器来学习各自视图的聚类友好特征。为避免不准确的填充对表示学习产生负面影响，我们仅使用每个视图中的完整实例进行训练。为了避免由缺失数据导致的视图间实例不对齐，我们使用重采样方法来补充每个视图，通过对每个视图上的观察实例进行采样。对于第 v 个视图，使用编码器-解码器对（记为 Ev 和 Dv）来获取高级嵌入H(v)。

   

2. 交叉视图部分样本对齐：作者的模块学习到的表示更加灵活，有两个原因。首先，该模块使用余弦相似度来衡量两个视图之间特征空间中配对数据的差异，而不是使用向量内积或特征空间中向量的欧氏距离，这与更注重挖掘数据结构信息的聚类不同。另一方面，作者的方法仅限制不同视图中样本的表示以达到最高的匹配度，并不强制其他样本的匹配度为0。这种对齐方法避免了拉伸原本属于同一簇的样本，更适合挖掘结构信息。

   

   简单来说X就是成对观察数据，N就是X中实例的数量，H就是对应的不完全数据X的嵌入数据也即已恢复成完整数据的不完全多视图数据，S就是代表i中第p个实例与q中第j个样本之间的差异性，也就是我们常说的相似度矩阵。
3. 变型原型对齐：通过匹配每对视图之间的原型对应关系，该模块校准了视图中样本之间的关系以及不同视图上原型之间的关系，从而解决了原型偏移问题，并进一步改善了聚类性能。为了使置换矩阵的优化适用于深度神经网络中的推导机制，我们遵循 PVC 的方法，使用匈牙利算法的可微分替代方法来建立原型集合之间的对应关系。
   P 是一个方形的二进制矩阵，每行每列恰好有一个元素为 1，其余为 0。我们用 P(i,j) 表示视图 i 和 j 之间的置换矩阵。C就是聚类原型的集合，聚类原型通俗一点来说就是我们在执行k-means算法聚类时所用到的核心点的集合。
4. 结构嵌入填充策略：由于作者的模型在训练过程中不执行填充操作，为了在视图之间对齐特征，我们提出了一种结构嵌入填充策略来填补缺失的嵌入。下图展示了我们填充策略的示例。具体来说，首先我们分别基于两个视图中的所有完整嵌入计算相似性矩阵。对于视图1中的缺失特征，我们找到视图2中与其嵌入最接近的邻居，然后直接用视图2中那个邻居的嵌入来填充视图中的缺失特征。

   

   就是用完整的数据计算出我们所需要的相似度矩阵S，view1中有缺失的特征，我们就从view2中找出与缺失特征相似度最高的特征，作为view1中缺失的特征。
5. 目标函数：

   

   其中，Lrec、Lia和Lpa分别代表可观察实例的视图内重构损失、视图间部分样本对齐损失以及原型偏移对齐损失。在实验中，我们简单地将两个平衡系数α和β都设置为0.001。

五、实验

实验部分就是对数据集的操作得出聚类结果，并对结果进行各种分析，读者可自行前往原文观看。

六、结论

本文提出了一种针对不完整多视图数据的新颖的跨视图部分样本和原型对齐框架，称为CPSPAN。与其他不完整多视图方法不同，CPSPAN使用成对观察的数据对齐来引导样本之间的对应重构。针对不完整多视图聚类中的原型偏移问题，我们还提出了一个偏移原型对齐模块来校准跨视图的原型集。实验表明，相比传统和深度IMVC SOTA方法，我们的CPSPAN具有显著优势。

七、简单总结：该神经网络模型是针对不完整的多视图数据进行设计的。它使用成对观察的数据进行训练，通过重构缺失的数据来提高数据的完整性，并尝试解决原型偏移问题。然后，使用重构后的数据进行聚类，以便在聚类任务中获得更准确和稳健的结果。 有疑问和错误请及时私信，谢谢！原文链接：Deep Incomplete Multi-View Clustering with Cross-View Partial Sample and Prototype Alignment_超星发现系统 (zhizhen.com)

如有需要原文pdf，请私信。