论文笔记：Low-Rank Tensor Constrained Multiview Subspace Clustering

Low-Rank Tensor Constrained Multiview Subspace Clustering

Abstract

论文研究多视图子空间聚类的问题，引入低阶张量约束去探索多视图中复杂的信息。
论文方法：
低阶张量约束的多视图子空间聚类（LT-MSC）。
论文思想：
（1）将不同视图的子空间表示矩阵看作一个张量，它捕获灵活地处理多视图数据的高阶相关性。
（2）然后在张量上设置一个低阶约束，对不同视图间的交叉信息进行优雅建模，有效地减少了学习子空间表示的冗余度，提高了聚类的精度。
（3）将聚类邻近矩阵的推理过程表示为一个张量核范数极小化问题，并用一个附加的L_2,1范数正则项和一些线性等式约束。
（4）最小化问题是凸的，因此可以用增广拉格朗日交替方向最小化（AL-ADM）方法有效地求解。
实验测试：
four benchmark image datasets

Introduction

LT-MSC将各个视图的所有子空间表示视为一个高阶结构,即张量，如图Fig1所示：

创新点：

1. 使用一个低阶张量将各个视图的所有子空间表示整合在一起，LT-MSC很好地捕获了高阶信息，从而在我们的大量实验中明显优于以前的方法。
2. 利用张量来捕捉所有视图的整体结构，探索多个视图内部和之间的相关性，而不是保留图像的空间信息。
3. 为最近建立的低秩表示（LRR）提供了一个有效的扩展，低秩表示是单视图数据的子空间聚类方法。
4. 本论文将基于自表示的子空间聚类扩展到多视图环境中，使用高阶张量约束来探索不同视图之间的相关性。

学习多视图的方法：

1. 基于图的模型的多视图特性
   （1）文献[14]中的工作构造了一个二部图来连接两个视图特征，并使用标准谱聚类来获得二视图聚类结果。
   （2）文献[35]中利用链接矩阵分解法从多个图中融合信息，其中每一个图用一个图特定因子和一个共同的因子由矩阵分解逼近。
   2.在聚类之前先学习一个公共空间
   （1）文献[23]、[37]中的方法共同调整了聚类假设，以利用谱聚类框架内的互补信息。
   （2）文献[22]提出了一个基于联合训练的框架，在这个框架中，搜索在不同视图中一致的聚类。
2. 基于多核学习（MKL）
   （1）文献[11]所提出的，与更复杂的分类方法相比，即使只是通过添加不同的核来组合不同的核，也常常会导致接近最优的结果。
   （2）视图不是同样地添加核，而是用给定的核矩阵表示，这些核的加权组合与[17]中的分区并行学习。

注意
这些方法中的关联矩阵是独立构造的，而LT-MSC则共同构造关联矩阵，目的是捕获不同视图之间的高阶相关性。

The Proposed Approach

1、LT-MSC目标函数建立

张量的核范数：实质上沿着每一模态展开的所有矩阵的核范数的凸组合。

采用低阶张量约束，构造LT-MSC的目标函数为：
注意：对不同矩阵的数据矩阵进行规范化，使得不同视图的误差达到相同的尺度，从而减小误差大小的变化。
初始化的时候，目标函数（4）通过联合协作多个视图寻求自我表达的最低秩。然后将公式（3）中的核范数带入目标函数（4）中得到优化函数（5）：

2、LT-MSC目标函数优化

目标函数的优化采用增广拉格朗日乘子法（AL-ADM），其优化函数为：
拉格朗日乘子函数：

1. 对每一个变量进行分别更新得：
   （1）Z^(v)-子空间：
   
   （2）z-子空间：
   
   （3）E-子空间：
   
   （4）Y_v-子空间：
   
   （5）G^*_m-子空间：
   
   （6）g_m-子空间：
   
   （7） $\alpha$_m-子空间：
   
2. 算法流程图：
   

Experiments

该论文提出的算法用于人脸和图像数据的聚类文中选取四个数据集，分别是Yale,Extended YaleB,ORL,和COIL-20。对于所有的数据集，提取三个类型的特征，分别是强度、LBP(表示纹理)、Gabor wavelets(表示小波)，也就是所谓的三个视图进行聚类。

References