Generalized Latent Multi-View Subspace Clustering 论文笔记-TPAMI2018
文章链接:http://ieeexplore.ieee.org/document/8502831/
文章目录
1.论文主要贡献:
提出了两种基于 multi-view 而不是 single view 的 latent representation 学习框架实现子空间聚类,一种是线性隐藏多视角子空间聚类(iLMSC),另一种是广义隐藏多视角子空间聚类(gLMSC)。
2.论文主要内容:
作者说他们不同于传统方法,依赖单一视角的原始特征,然后将所有视角映射到同一空间得到 latent representation;作者直接通过 multi-view 直接学习latent representation,使得每个视角的信息更加互补,学习到的 latent representation 更加综合。
文中的模型主要分为两部分,一个是 iLMSC,通过交替方向最小化(ADM)优化求解;另一个是 gLMSC,通过广义拉格朗日乘子优化求解。
2.1. iLMSC 优化目标
(1)
其中,X 表示第 v 个视角的特征矩阵,H 表示待学习隐藏表达矩阵,Z 表示子空间表达矩阵,P 表示隐藏表达到每个视角的映射关系,Es和 Ev分别表示对于每个样本和每个视角的重构误差,两者按列组合成 E,λ是一个超参数,用来调整重构误差项与正则项的比重。
优化方法:分为 6 个子问题,交替优化求解 P、H、Z、Es、Ev和优化过程中引入的参数,使用矩阵的无穷范数判断结果的收敛性。
2.2. gLMSC
作者使用三层神经网络训练,gLMSC 的目标函数如下,
(2)
其中,W(k,v)表示对于第 v 个视角第 k 层到 k+1 层的权重矩阵,网络激活函数是 tanh 函数。用误差传播更新 W,gLMSC 的优化算法如下
2.3. 实验设置
数据集:
ADNI:医学图像数据集;
Reuters:包含 5 种语言的 2000 个文档样本;
Football:来自 20 个俱乐部的 248 名球员;
Politicsie:包含 9 个视角的政治会议图像;
MSRCV1:7 类 210 幅图像;
BBCSport:和 5 个话题有关的体育报道新闻;Animals with Attributes:50 类 30475 幅动物图像;
Caltech101:101 类 8677幅图像,用于提取深度特征。
Baseline:
LRRBestSV:low-rank and single view;
RMSC:low-rank and standard Markov chain;
DiMSC:integrates different views into an affinity matrix;
LT-MSC:low-rank tensor and high order manner;
t-SVD-MSC:low-rank tensor and SVD;
DSSC:a deep extension of Sparse Subspace Clustering;
MLAP:low-rank constraint to explore the complementarity;
MSSC:using a common representation across different modalitiesLRRBestSV:low-rank and single view;
RMSC:low-rank and standard Markov chain;
DiMSC:integrates different views into an affinity matrix;
LT-MSC:low-rank tensor and high order manner;
t-SVD-MSC:low-rank tensor and SVD;
DSSC:a deep extension of Sparse Subspace Clustering;
MLAP:low-rank constraint to explore the complementarity;
MSSC:using a common representation across different modalities
评价指标:
NMI:normalized mutual information;
ACC:accuracy;
F-measure and RI (Rand index)