【多视图】Incomplete Multiview Spectral Clustering With Adaptive Graph Learning

论文题目：基于自适应图学习的不完全多视图谱聚类
Authors：Jie Wen , Yong Xu , Senior Member, IEEE, and Hong Liu, Member, IEEE

摘要

提出了一个不完全多视图聚类的通用框架。该方法是首次利用图学习和谱聚类技术来学习不完全多视图聚类的公共表示。首先，由于低阶表示法在发现数据的内在子空间结构方面具有良好的性能，我们采用它来自适应地构造每个视图的图。其次，在谱聚类的基础上，利用谱约束实现每个视图的低维表示。第三，我们进一步引入协正则项来学习所有视图样本的公共表示，然后使用k-均值将数据划分为各自的组。提出了一种高效的迭代算法对模型进行优化。

引入

不完整多视图聚类方法分类：

• 基于矩阵分解的不完整多视图聚类（MFIMC）：

1. 通过矩阵分解技术直接学习所有视图的低维一致性表示。如partial multi-view clustering，PMVC试图学习所有视图的公共潜在子空间，其中视图特征不同的样本被强制具有相同的表示

2. （MIC）先用平均值填充，然后使用加权非负矩阵分解来联合学习不同视图的潜在表示和所有视图的一致表示。

3. 存在的问题：只关注了共识表示的学习，而忽略了数据的内在结构，不能保证学习表示的紧致性和可区分性。

• 基于图的不完整多视图聚类（GIMC）

1. 重点学习从构造的不同的图中学习低维表示，这些图揭示了所有样本之间的关系，能够有效地利用数据的几何结构。
2. 图的创建非常重要，但是因为缺失的原因，无法构造出完整的连接所有样本的图
3. 解决方法：1).提出参照完整视图的拉普拉斯矩阵来完成缺失实例视图的不完全图，然后通过核CCA学习不同视图的低维表示。 2).先填充，再矩阵分解得到的潜在表示来获得包含全局信息的图。 但当缺失比例高时，填充部分将主导表示的学习。

• 现有方法局限性
  • 需要有至少一个视图未缺失的对齐样本。
    
  • 基于图的方法无法学到全局最优的一致表示，因为子空间学习过程和图构造过程是分离的。
• 本文方法：
  • 联合学习低维一致表示和相似图，这样可以获得全局最优的一致表示。
  • 间接的从各个视图的低维表示中学到一个一致的表示。

相关工作

1. 谱聚类
   

2. 子空间学习
   
   将图重建和低维表示学习结合在一起，学到一个局部最优的一致表示F，再使用k-means得到最终的聚类结果。

论文方法

构造图，将这些缺失样本相连的权重设置为０。这样缺失视图中不确定的相似信息将不会在学习数据聚类表示中起负面作用。仅利用可用样本的真实相似性信息来指导表示学习，有利于获得更可靠的数据聚类表示，不免缺失视图的负面影响。

$Z^{(v)}$ 是视图$v$的未缺失样本构造的图，${\bar{Z}}^{(v)}$ 是通过索引矩阵$G^{(v)}$，将$Z^{(v)}$的视图缺失样本部分填充为0，构成的完整图。定义如下：

其中$G^{(v)}$的定义为：

因此得到：

最后得到有视图缺失的MVSC：

考虑到：
(1) 数据源于低秩的子空间，
(2) 非负的图有利于改善聚类性能并使学到的图更具有解释性。

添加：
(1) 对图的低秩约束
(2) 对图的非负约束

因此目标函数变为：

其中${\sum }_v\mathrm{Tr}\left(F^T{G}^{(v)T}{L}^{(v)}{G}^{(v)}F\right)$等价于$\frac{1}{2}{\sum }_{j=1}^n{\sum }_{i=1}^n\left({\Vert F_{i,:}-F_{j,:}\Vert }_2^2{\sum }_v{\bar{W}}_{i,j}^{(v)}\right)$
上式表明了权重为多个图的相似度之和。

然而在缺失多视图聚类中，这样的方式同等的对待缺失样本视图的权重和非缺失样本视图的权重。

这样会导致，属于相同类的样本权重可能会低于不同类的样本权重。当相同类样本缺失较多，而不同类缺失较少时，导致样本的聚类指标不正确。

• 为解决这个问题，我们提出从聚类指示矩阵们中学习一致的表示。目标函数如下：
  

相比（7）和（8）式的主要不同在于，（7）式是从多个拉普拉斯矩阵中得到一个最后的聚类指标矩阵$F$，而（8）式是每个拉普拉斯矩阵都求得一个聚类指标矩阵$F^{(v)}$。

• 使用$\Gamma (\cdot )$来度量每个视图的表示矩阵$F^{(v)}$与一致表示矩阵$U$之间的不相似性。除以各自矩阵的F范数实现归一化的目的，使得它们具有可比性。
  
  其中K选择线性核，$K_U=U{U}^T$，原因有两方面：1）拉普拉斯谱算子中用于谱聚类的相似性度量（或核）已经处理了数据中存在的非线性（如果有），嵌入矩阵$U^{(.)}$是实数聚类指标矩阵，可以认为是服从线性相似的；2）通过对$U^{(.)}$使用线性核得到了一个很好的优化问题。
  上式的推导中，用到的性质有${\Vert K_U\Vert }_F^2=\mathrm{tr}\left(K^{T}K\right)=\mathrm{tr}\left(U{U}^{T}U{U}^T\right)=\mathrm{tr}\left(U{U}^T\right)=\mathrm{tr}\left(U^{T}U\right)=\mathrm{tr}\left(I_c\right)=c$

最终得到的目标函数（模型）：

优化算法

使用ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法

实验验证

时间复杂度：$O\left(\tau \left(k{n}^3+n^3+{\sum }_v{n}_v^3\right)\right)$

论文和代码链接：文杰的个人网站