《保留高阶相关性的不完整多视图子空间聚类》

不完全多视图聚类的目的是利用多个不完全视图的信息将数据划分到它们各自的聚类中。现有方法仅利用成对样本相关性和成对视图相关性来提高聚类性能，而忽略了样本和视图的高阶相关性。

内容概括：

提出了一种高阶相关保持不完整多视图子空间聚类方法(HCP-IMSC)，该方法可以有效地恢复样本缺失视图和不完整多视图数据的子空间结构。具体地说，由不完整的多视图数据构建的多个亲和矩阵作为一个三阶低秩张量，通过张量分解正则化来保持高阶视图相关性和样本相关性。然后，以自加权的方式融合特定于视图的关联矩阵，得到统一的关联矩阵。在此基础上进一步构造了一个超图，以保持具有不完备视图的数据的高阶几何结构。然后，在超图诱导的超拉普拉斯正则化下，对缺少视图的样本进行重构。此外，将特定视图亲和矩阵的学习以及统一的亲和矩阵、张量分解和超拉普拉斯正则化集成到一个统一的优化框架中。

核心思想：

本文主要研究的高阶相关可以大致分为分为两部分。首先，高阶样本相关性一方面用于描绘跨多个视图的全局聚类结构(见图中张量表示C的块对角结构)，另一方面揭示类聚类样本关系(见图中的超图G)。高阶视图相关性描述了多个视图之间的全局语义一致性(张量表示C的每个切片由图1中相似的块对角结构组成)。

捕获高阶相关性具有以下两个好处：首先，它可以更好地共同利用不同视图之间的信息，从而获得数据潜在的内在聚类结构。其次，利用属于同一超边缘的相邻样本的信息，而不是利用它们的一阶连通样本的信息，可以更有效地恢复缺失样本。

符号说明：

超图：按照本人的理解，如果在二维平面上，超图跟普通图的区别就是超图的一个边包含除了两个端点以外的其他顶点，即不是像普通图的一条边只有两个端点。 

 

模型 ：

首先将视图的特征矩阵划分为可观测到部分和缺失部分，引入对应的置换矩阵P使得分别将观察到的和缺失的特征矩阵投影为一个完整的特征矩阵，即观测到的集中在一块，缺失的在另一块。

然后基于张量管秩，我们将不完整多视图子空间聚类的目标函数表述为: 

其中Z(v)为第v个视图亲和矩阵，β为控制张量管秩Z的正平衡参数。非负性约束Z(v) ij≥0有利于同一子空间数据点对应的Z(v)的正值;同时抑制来自不同子空间的数据点对应的Z(v)的条目，从而使亲和矩阵Z(v)具有判别性。对称约束Z(v) = Z(v)避免了对称操作，即(Z(v) + Z(v))/2，这将破坏数据点之间的固有相关性。因此，我们引入了亲和矩阵的两个约束条件。由于每个视图的亲和矩阵描述了子空间结构，因此在理想情况下，它应该是一个块对角矩阵。由于多视图数据的语义一致性，Z的每个切片具有相似的块对角结构。Z需要是一个块对角张量同时也是一个低秩张量。因此，我们将Z约束为低秩，以捕获(17)中Z的块对角线结构。

再由于张量核范数是代替张量管秩来追求张量低秩结构的计算替代物。然而，计算大小为n × n × V张量的t-SVD的计算成本很高。假设Z的张量管秩为c，则Z可以被分解成张量积形式，即Z = U * V，其中U和V是两个较小的张量，因此，我们可以通过调整U和V的大小来控制Z的张量管秩。

由于不同的视图可能会错过不同数量的实例，因此它们将为集群任务提供不平衡的信息。为了恢复不完全多视图数据的底层聚类结构，我们通过求解以下优化问题，以自加权的方式从{Z(v)}中学习统一的亲和矩阵A:

 

然而，由于视图缺失和不同的聚类能力，特定于视图的亲和矩阵不足以描述潜在的聚类结构。基于统一亲和矩阵A，构造了一个k近邻超图。设置最近邻居个数为15。然后，我们用超拉普拉斯正则化约束缺失样本在其邻居的邻域中重构。正则化可以表示为:

 

最终的目标函数： 

总结：

本文提出了一种新的不完全多视图聚类方法，该方法通过保持高阶相关性来联合执行缺失视图推断和子空间结构学习。引入超图诱导的超拉普拉斯正则化项和张量分解项来捕捉高阶样本相关性和视图相关性。我们将多个亲和矩阵视为一个三阶低秩张量，并使用张量分解来捕获高阶视图和样本相关性。然后，以自加权的方式融合特定于视图的亲和矩阵，得到统一的亲和矩阵。其次，我们从统一关联矩阵构造超图，以保持不完整视图数据的高阶几何结构。然后，我们用超图诱导的超拉普拉斯正则化约束缺失的视图样本由其相邻样本重构。此外，亲和矩阵学习、矩阵学习，张量分解和缺失视图推理集成到一个统一的优化框架。设计了一种高效的优化算法来求解所得模型。在各种基准数据集上进行了大量的实验来验证我们的方法的有效性。

前景考虑：

考虑到所提方法的计算复杂度，难以直接应用于较大数据集的聚类。此外，深度神经网络(DNN)具有很强的特征表示能力。近年来，基于dnn的多视图子空间聚类方法显示出良好的聚类性能。该方法的浅层自表示项可以进一步扩展到基于dnn的模块中，增强其表示能力。在未来，我们有兴趣研究将所提出的方法扩展到可扩展的情况和基于dnn的设置。