Low-Rank Tensor Constrained Multiview Subspace Clustering
Abstract
论文研究多视图子空间聚类的问题,引入低阶张量约束去探索多视图中复杂的信息。
论文方法:
低阶张量约束的多视图子空间聚类(LT-MSC)。
论文思想:
(1)将不同视图的子空间表示矩阵看作一个张量,它捕获灵活地处理多视图数据的高阶相关性。
(2)然后在张量上设置一个低阶约束,对不同视图间的交叉信息进行优雅建模,有效地减少了学习子空间表示的冗余度,提高了聚类的精度。
(3)将聚类邻近矩阵的推理过程表示为一个张量核范数极小化问题,并用一个附加的L2,1范数正则项和一些线性等式约束。
(4)最小化问题是凸的,因此可以用增广拉格朗日交替方向最小化(AL-ADM)方法有效地求解。
实验测试:
four benchmark image datasets
Introduction
LT-MSC将各个视图的所有子空间表示视为一个高阶结构,即张量,如图Fig1所示:
创新点:
- 使用一个低阶张量将各个视图的所有子空间表示整合在一起,LT-MSC很好地捕获了高阶信息,从而在我们的大量实验中明显优于以前的方法。
- 利用张量来捕捉所有视图的整体结构,探索多个视图内部和之间的相关性,而不是保留图像的空间信息。
- 为最近建立的低秩表示(LRR)提供了一个有效的扩展,低秩表示是单视图数据的子空间聚类方法。
- 本论文将基于自表示的子空间聚类扩展到多视图环境中,使用高阶张量约束来探索不同视图之间的相关性。
学习多视图的方法:
- 基于图的模型的多视图特性
(1)文献[14]中的工作构造了一个二部图来连接两个视图特征,并使用标准谱聚类来获得二视图聚类结果。
(2)文献[35]中利用链接矩阵分解法从多个图中融合信息,其中每一个图用一个图特定因子和一个共同的因子由矩阵分解逼近。
2.在聚类之前先学习一个公共空间
(1)文献[23]、[37]中的方法共同调整了聚类假设,以利用谱聚类框架内的互补信息。
(2)文献[22]提出了一个基于联合训练的框架,在这个框架中,搜索在不同视图中一致的聚类。 - 基于多核学习(MKL)
(1)文献[11]所提出的,与更复杂的分类方法相比,即使只是通过添加不同的核来组合不同的核,也常常会导致接近最优的结果。
(2)视图不是同样地添加核,而是用给定的核矩阵表示,这些核的加权组合与[17]中的分区并行学习。
注意
这些方法中的关联矩阵是独立构造的,而LT-MSC则共同构造关联矩阵,目的是捕获不同视图之间的高阶相关性。
The Proposed Approach
1、LT-MSC目标函数建立
张量的核范数:实质上沿着每一模态展开的所有矩阵的核范数的凸组合。
采用低阶张量约束,构造LT-MSC的目标函数为:
注意:对不同矩阵的数据矩阵进行规范化,使得不同视图的误差达到相同的尺度,从而减小误差大小的变化。
初始化的时候,目标函数(4)通过联合协作多个视图寻求自我表达的最低秩。然后将公式(3)中的核范数带入目标函数(4)中得到优化函数(5):
2、LT-MSC目标函数优化
目标函数的优化采用增广拉格朗日乘子法(AL-ADM),其优化函数为:
拉格朗日乘子函数:
- 对每一个变量进行分别更新得:
(1)Z(v)-子空间:
(2)z-子空间:
(3)E-子空间:
(4)Yv-子空间:
(5)G*m-子空间:
(6)gm-子空间:
(7) α \alpha αm-子空间:
- 算法流程图:
Experiments
该论文提出的算法用于人脸和图像数据的聚类文中选取四个数据集,分别是Yale,Extended YaleB,ORL,和COIL-20。对于所有的数据集,提取三个类型的特征,分别是强度、LBP(表示纹理)、Gabor wavelets(表示小波),也就是所谓的三个视图进行聚类。