多视角-1-Dual Shared-Specific Multiview Subspace Clustering

原文链接 https://ieeexplore.ieee.org/document/8740912

Abstract

近年来，多视域、多视域真实数据的可用性迅速提高，使得多视域子空间聚类得到了广泛的关注。提高多视图聚类算法的性能受到两个主要因素的挑战。

首先，由于多视角数据中原始特征的冗余性较高，基于这些属性进行重构必然导致性能较差。其次，由于这种多视图数据的每个视图都可能包含相对于其他视图的独特知识，因此在同时研究每个视图的唯一性的同时利用多个视图的互补信息仍然是一个挑战。

此文提出一种新的 对偶共享特定多视图子空间聚类方法，该方法在学习多个视图之间共享信息的相关性的同时，还利用视图的特定信息来描述每个独立视图的特定属性。此外，制定了一种双重学习框架，来捕获共享特定的信息到 降维和自我表征中。
1. Simultaneously learns the correlations between shared information across multiple views and also utilizes view-specific information to depict specific property for each independent view.
2. Formulate a dual learning framework to capture shared-specific information into the dimensional reduction and self-representation processes.

1 Introduction

目前研究存在的主要问题有：

1. 原始的特征包含了高维度的冗余，它会降低聚类的表现
2. 在聚类时，许多方法不能在 通过多视角利用shared information的同时，保留特殊的独特性

所以，propose a dual shared-specific multiview subspace clustering (DSS-MSC) approach


Fig.1. Basic framework of the proposed DSS-MSC approach

论文提出的方法DSS-MSC,在通过视角学习共享信息来得到输入的潜在相关性时，利用具体视角的信息来概述每个独立的视角的独特的属性。
通过将原始特征投影到低维特征空间中，利用低维特征表示对数据点进行重构，从而减轻冗余的影响。更进一步，论文构建了一个双重学习框架来捕获共享的特定信息，到特征投影和自我表示阶段，从而增强了方法对共享信息的开发和有效保留视图特定属性的能力。最后，结合共享和和特定视角的自我表征，构建了一个新的相似矩阵。

2 Related Work

论文采用一个广泛接受的假设：每个数据点都可以表示为原始数据点本身的线性组合
具体地说，$\mathbf{X}=\left[{\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_N\right]\in {\mathbb{R}}^{L\times N}$ 表示数据矩阵，每一列是一个样本向量（sample vector），L 和 N 分别表示特征的维度和样本的数量，则self-representation 模型可以表述为：$$\underset{\mathbf{Z}}{\min }\mathcal{L}(\mathbf{X},\mathbf{X}\mathbf{Z})+\lambda \Psi (\mathbf{Z})\text{\hspace{1em}(1)}$$

$\lambda$: 正则化参数
$\mathbf{Z}=[{\mathbf{z}}_1,{\mathbf{z}}_2,\dots ,{\mathbf{z}}_N]\in {\mathbb{R}}^{N\times N}$: self-representation matrix,每个${\mathbf{z}}_i$为原始数据点${\mathbf{x}}_i$对观测数据$\mathbf{X}$的编码系数
$\mathcal{L}(\cdot )$: loss function
$\Psi (\cdot )$: regularization term 正则化项

更进一步的，使用$\mathbf{S}=\left(|\mathbf{Z}|+\left|{\mathbf{Z}}^{\top }\right|\right)/2$可以计算相似矩阵。接着，将相似矩阵用作谱聚类算法的输入取得到最后的聚类结果。
但这些都只考虑单视角的特征，利用原始视角去重构数据点。

所有表现出好的性能的工作都有一个潜在的假设：多视角都源自于一个潜在的表示（laten representation）,并且潜在表示可以有效地挖掘不同视角之间的关联。但他们只考虑了共享潜在（隐藏）表示，忽略了个体具体的属性。

3 Proposed Method

3.1 Formulation

给出一个数据集（data set） ${\mathbf{X}}_v\in {\mathbb{R}}^{L_v\times N}$，其中${\mathbf{X}}_v$表示第$v$视角的特征矩阵（$v=1,2,\dots ,V$）,$L_v:v$视角特征的维数, $N:$样本数。使用线性投影，${\mathbf{X}}_v$可以转换为低维表示：
$${\mathbf{H}}_v={\mathbf{P}}_v{\mathbf{X}}_v+{\mathbf{E}}_v^1\text{\hspace{1em}(2)}$$

其中，${\mathbf{P}}_v\in {\mathbb{R}}^{D_v\times L_v}$ 是投影矩阵， ${\mathbf{H}}_v\in {\mathbb{R}}^{D_v\times N}$是$v$层视角的低维表示。
为了进行多视图子空间聚类 和 利用多个视图中各特征之间的相关性，我们将上式扩展为：
$$[{\mathbf{H};\mathbf{H}}_v]={\mathbf{P}}_v{\mathbf{X}}_v+{\mathbf{E}}_v^1\text{\hspace{1em}(3)}$$
$\mathbf{H}\in {\mathbb{R}}^{D\times N}$表示多视角的共享部分，如图1所示。${\mathbf{H}}_v$表示每个视角的具体特征，$\mathbf{H}$表示他们的一致的共享特征。假设不同视角在低维特征空间上共享部分的特征，从而均衡了多个视图之间的相关性。因此，目标函数：推断多视图低维表示模型，可以写为：$$\underset{{\mathbf{P}}_v,{\mathbf{H}}_v,{\mathbf{E}}_v^1,\mathbf{H}}{\min }\sum _v^V{\Vert \left[\mathbf{H};{\mathbf{H}}_v\right]-{\mathbf{P}}_v{\mathbf{X}}_v-{\mathbf{E}}_v^1\Vert }_F^2\text{\hspace{1em}(4)}$$

进一步的，对于相应的低维的表示$[{\mathbf{H};\mathbf{H}}_v]$,基于自我表征的子空间聚类的目标函数可以重新表示为
$$\underset{{\mathbf{H}}_v,{\mathbf{Z}}_v,{\mathbf{E}}_v^2,\tilde{\mathbf{Z}},\mathbf{H}}{\min }\sum _v^V{\Vert \left[\mathbf{H};{\mathbf{H}}_v\right]-\left[\mathbf{H};{\mathbf{H}}_v\right]\tilde{\mathbf{Z}}-\left[\mathbf{H};{\mathbf{H}}_v\right]{\mathbf{Z}}_v-{\mathbf{E}}_v^2\Vert }_F^2\text{\hspace{1em}(5)}$$

$\tilde{\mathbf{Z}}$表示所有视角共享的自我表示的系数矩阵，${\mathbf{Z}}_v$表示单个视角的具体的自我表示的系数矩阵
通过融合共享和具体视角的信息到一个多视角子空间聚类框架中，目标函数可写为：
$$\begin{array}{r}{\mathbf{P}}_v,{\mathbf{H}}_v,{\mathbf{Z}}_v,{\mathbf{E}}_v,\tilde{\mathbf{Z}}\end{array}$$