Generalized Latent Multi-View Subspace Clustering 论文笔记

Generalized Latent Multi-View Subspace Clustering 论文笔记-TPAMI2018

文章链接：http://ieeexplore.ieee.org/document/8502831/

1.论文主要贡献：

提出了两种基于 multi-view 而不是 single view 的 latent representation 学习框架实现子空间聚类，一种是线性隐藏多视角子空间聚类(iLMSC)，另一种是广义隐藏多视角子空间聚类(gLMSC)。

2.论文主要内容：

作者说他们不同于传统方法，依赖单一视角的原始特征，然后将所有视角映射到同一空间得到 latent representation；作者直接通过 multi-view 直接学习latent representation，使得每个视角的信息更加互补，学习到的 latent representation 更加综合。
文中的模型主要分为两部分，一个是 iLMSC，通过交替方向最小化(ADM)优化求解；另一个是 gLMSC，通过广义拉格朗日乘子优化求解。

2.1. iLMSC 优化目标

(1)

其中，X 表示第 v 个视角的特征矩阵，H 表示待学习隐藏表达矩阵，Z 表示子空间表达矩阵，P 表示隐藏表达到每个视角的映射关系，Es和 Ev分别表示对于每个样本和每个视角的重构误差，两者按列组合成 E，λ是一个超参数，用来调整重构误差项与正则项的比重。
优化方法：分为 6 个子问题，交替优化求解 P、H、Z、Es、Ev和优化过程中引入的参数，使用矩阵的无穷范数判断结果的收敛性。

2.2. gLMSC

作者使用三层神经网络训练，gLMSC 的目标函数如下，
(2)
其中，W(k,v)表示对于第 v 个视角第 k 层到 k+1 层的权重矩阵，网络激活函数是 tanh 函数。用误差传播更新 W，gLMSC 的优化算法如下

2.3. 实验设置

数据集：

ADNI：医学图像数据集；
Reuters：包含 5 种语言的 2000 个文档样本；
Football：来自 20 个俱乐部的 248 名球员；
Politicsie：包含 9 个视角的政治会议图像；
MSRCV1：7 类 210 幅图像；
BBCSport：和 5 个话题有关的体育报道新闻；Animals with Attributes：50 类 30475 幅动物图像；
Caltech101：101 类 8677幅图像，用于提取深度特征。

Baseline：

LRRBestSV：low-rank and single view；
RMSC：low-rank and standard Markov chain；
DiMSC：integrates different views into an affinity matrix；
LT-MSC：low-rank tensor and high order manner；
t-SVD-MSC：low-rank tensor and SVD；
DSSC：a deep extension of Sparse Subspace Clustering；
MLAP：low-rank constraint to explore the complementarity；
MSSC：using a common representation across different modalitiesLRRBestSV：low-rank and single view；
RMSC：low-rank and standard Markov chain；
DiMSC：integrates different views into an affinity matrix；
LT-MSC：low-rank tensor and high order manner；
t-SVD-MSC：low-rank tensor and SVD；
DSSC：a deep extension of Sparse Subspace Clustering；
MLAP：low-rank constraint to explore the complementarity；
MSSC：using a common representation across different modalities

评价指标：

NMI：normalized mutual information；
ACC：accuracy；
F-measure and RI (Rand index)