多视角-1-Dual Shared-Specific Multiview Subspace Clustering

原文链接 https://ieeexplore.ieee.org/document/8740912

Abstract

近年来，多视域、多视域真实数据的可用性迅速提高，使得多视域子空间聚类得到了广泛的关注。提高多视图聚类算法的性能受到两个主要因素的挑战。

首先，由于多视角数据中原始特征的冗余性较高，基于这些属性进行重构必然导致性能较差。其次，由于这种多视图数据的每个视图都可能包含相对于其他视图的独特知识，因此在同时研究每个视图的唯一性的同时利用多个视图的互补信息仍然是一个挑战。

此文提出一种新的 对偶共享特定多视图子空间聚类方法，该方法在学习多个视图之间共享信息的相关性的同时，还利用视图的特定信息来描述每个独立视图的特定属性。此外，制定了一种双重学习框架，来捕获共享特定的信息到 降维和自我表征中。
1. Simultaneously learns the correlations between shared information across multiple views and also utilizes view-specific information to depict specific property for each independent view.
2. Formulate a dual learning framework to capture shared-specific information into the dimensional reduction and self-representation processes.

1 Introduction

目前研究存在的主要问题有：

1. 原始的特征包含了高维度的冗余，它会降低聚类的表现
2. 在聚类时，许多方法不能在 通过多视角利用shared information的同时，保留特殊的独特性

所以，propose a dual shared-specific multiview subspace clustering (DSS-MSC) approach


Fig.1. Basic framework of the proposed DSS-MSC approach

论文提出的方法DSS-MSC,在通过视角学习共享信息来得到输入的潜在相关性时，利用具体视角的信息来概述每个独立的视角的独特的属性。
通过将原始特征投影到低维特征空间中，利用低维特征表示对数据点进行重构，从而减轻冗余的影响。更进一步，论文构建了一个双重学习框架来捕获共享的特定信息，到特征投影和自我表示阶段，从而增强了方法对共享信息的开发和有效保留视图特定属性的能力。最后，结合共享和和特定视角的自我表征，构建了一个新的相似矩阵。

2 Related Work

论文采用一个广泛接受的假设：每个数据点都可以表示为原始数据点本身的线性组合
具体地说，$\mathbf{X}=\left[{\mathbf{x}}_1,{\mathbf{x}}_2,\dots ,{\mathbf{x}}_N\right]\in {\mathbb{R}}^{L\times N}$ 表示数据矩阵，每一列是一个样本向量（sample vector），L 和 N 分别表示特征的维度和样本的数量，则self-representation 模型可以表述为：$$\underset{\mathbf{Z}}{\min }\mathcal{L}(\mathbf{X},\mathbf{X}\mathbf{Z})+\lambda \Psi (\mathbf{Z})\text{\hspace{1em}(1)}$$

$\lambda$: 正则化参数
$\mathbf{Z}=[{\mathbf{z}}_1,{\mathbf{z}}_2,\dots ,{\mathbf{z}}_N]\in {\mathbb{R}}^{N\times N}$: self-representation matrix,每个${\mathbf{z}}_i$为原始数据点${\mathbf{x}}_i$对观测数据$\mathbf{X}$的编码系数
$\mathcal{L}(\cdot )$: loss function
$\Psi (\cdot )$: regularization term 正则化项

更进一步的，使用$\mathbf{S}=\left(|\mathbf{Z}|+\left|{\mathbf{Z}}^{\top }\right|\right)/2$可以计算相似矩阵。接着，将相似矩阵用作谱聚类算法的输入取得到最后的聚类结果。
但这些都只考虑单视角的特征，利用原始视角去重构数据点。

所有表现出好的性能的工作都有一个潜在的假设：多视角都源自于一个潜在的表示（laten representation）,并且潜在表示可以有效地挖掘不同视角之间的关联。但他们只考虑了共享潜在（隐藏）表示，忽略了个体具体的属性。

3 Proposed Method

3.1 Formulation

给出一个数据集（data set） ${\mathbf{X}}_v\in {\mathbb{R}}^{L_v\times N}$，其中${\mathbf{X}}_v$表示第$v$视角的特征矩阵（$v=1,2,\dots ,V$）,$L_v:v$视角特征的维数, $N:$样本数。使用线性投影，${\mathbf{X}}_v$可以转换为低维表示：
$${\mathbf{H}}_v={\mathbf{P}}_v{\mathbf{X}}_v+{\mathbf{E}}_v^1\text{\hspace{1em}(2)}$$

其中，${\mathbf{P}}_v\in {\mathbb{R}}^{D_v\times L_v}$ 是投影矩阵， ${\mathbf{H}}_v\in {\mathbb{R}}^{D_v\times N}$是$v$层视角的低维表示。
为了进行多视图子空间聚类 和 利用多个视图中各特征之间的相关性，我们将上式扩展为：
$$[{\mathbf{H};\mathbf{H}}_v]={\mathbf{P}}_v{\mathbf{X}}_v+{\mathbf{E}}_v^1\text{\hspace{1em}(3)}$$
$\mathbf{H}\in {\mathbb{R}}^{D\times N}$表示多视角的共享部分，如图1所示。${\mathbf{H}}_v$表示每个视角的具体特征，$\mathbf{H}$表示他们的一致的共享特征。假设不同视角在低维特征空间上共享部分的特征，从而均衡了多个视图之间的相关性。因此，目标函数：推断多视图低维表示模型，可以写为：$$\underset{{\mathbf{P}}_v,{\mathbf{H}}_v,{\mathbf{E}}_v^1,\mathbf{H}}{\min }\sum _v^V{\Vert \left[\mathbf{H};{\mathbf{H}}_v\right]-{\mathbf{P}}_v{\mathbf{X}}_v-{\mathbf{E}}_v^1\Vert }_F^2\text{\hspace{1em}(4)}$$

进一步的，对于相应的低维的表示$[{\mathbf{H};\mathbf{H}}_v]$,基于自我表征的子空间聚类的目标函数可以重新表示为
$$\underset{{\mathbf{H}}_v,{\mathbf{Z}}_v,{\mathbf{E}}_v^2,\tilde{\mathbf{Z}},\mathbf{H}}{\min }\sum _v^V{\Vert \left[\mathbf{H};{\mathbf{H}}_v\right]-\left[\mathbf{H};{\mathbf{H}}_v\right]\tilde{\mathbf{Z}}-\left[\mathbf{H};{\mathbf{H}}_v\right]{\mathbf{Z}}_v-{\mathbf{E}}_v^2\Vert }_F^2\text{\hspace{1em}(5)}$$

$\tilde{\mathbf{Z}}$表示所有视角共享的自我表示的系数矩阵，${\mathbf{Z}}_v$表示单个视角的具体的自我表示的系数矩阵
通过融合共享和具体视角的信息到一个多视角子空间聚类框架中，目标函数可写为：
$$\begin{array}{rl}\underset{{\mathbf{P}}_v,{\mathbf{H}}_v,{\mathbf{Z}}_v,{\mathbf{E}}_v,\tilde{\mathbf{Z}},\mathbf{H}}{\min }& \Vert \tilde{\mathbf{Z}}{\Vert }_{\ast }+\lambda \sum _v{\Vert {\mathbf{E}}_v\Vert }_{2,1}+\beta \sum _v{\Vert {\mathbf{Z}}_v\Vert }_1\\ \text{ s.t. }& {\mathbf{P}}_v{\mathbf{X}}_v=\left[\mathbf{H};{\mathbf{H}}_v\right]+{\mathbf{E}}_v^1\\ & \left[\mathbf{H};{\mathbf{H}}_v\right]=\left[\mathbf{H};{\mathbf{H}}_v\right]\tilde{\mathbf{Z}}+\left[\mathbf{H};{\mathbf{H}}_v\right]{\mathbf{Z}}_v+{\mathbf{E}}_v^2\\ & {\mathbf{P}}_v{\mathbf{P}}_v^{\top }=\mathbf{I},{\mathbf{E}}_v=\left[{\mathbf{E}}_v^1;{\mathbf{E}}_v^2\right],\mathrm{diag}\left({\mathbf{Z}}_v\right)=0\\ & \forall v=1,\dots ,V\end{array}\text{\hspace{1em}(6)}$$

$\lambda 和\beta$：正则化参数
$||.|{|}_{\ast }$ ：矩阵核范数，使得子空间表示为低秩
$||.|{|}_{2,1}$ ：${\ell }_{2,1}$-norm ,encourages 矩阵的列(column)为0，即$\Vert \mathbf{E}{\Vert }_{2,1}={\sum }_{j=1}^N\sqrt{{\sum }_{i=1}^M{\left[{\mathbf{E}}_{ij}\right]}^2},\text{ where }\mathbf{E}\in {\mathbb{R}}^{M\times N}$

3.2 Optimization

Algorithm 1: Solving Problem (8) via ADMM(Alternating direction method of multipliers)
即一次中，只改变一个变量，其他的变量保持不变

引入两个辅助变量$\mathbf{J}、{\mathbf{Q}}_v$使得问题separable。进一步，我们转化为以下相等的问题：
$$\begin{array}{rl}\underset{{\mathbf{P}}_v,{\mathbf{H}}_v,{\mathbf{Z}}_v,{\mathbf{Q}}_v,{\mathbf{E}}_v,\tilde{\mathbf{Z}},\mathbf{J},\mathbf{H}}{\min }& \Vert \mathbf{J}{\Vert }_{\ast }+\lambda \sum _v{\Vert {\mathbf{E}}_v\Vert }_{2,1}+\beta \sum _v{\Vert {\mathbf{Q}}_v\Vert }_1\\ \text{ s.t. }& {\mathbf{P}}_v{\mathbf{X}}_v=\left[\mathbf{H};{\mathbf{H}}_v\right]+{\mathbf{E}}_v^1\\ & \left[\mathbf{H};{\mathbf{H}}_v\right]=\left[\mathbf{H};{\mathbf{H}}_v\right]\tilde{\mathbf{Z}}+\left[\mathbf{H};{\mathbf{H}}_v\right]{\mathbf{Z}}_v+{\mathbf{E}}_v^2\\ & {\mathbf{E}}_v=\left[{\mathbf{E}}_v^1;{\mathbf{E}}_v^2\right],{\mathbf{P}}_v{\mathbf{P}}_v^{\top }=\mathbf{I},\tilde{\mathbf{Z}}=\mathbf{J}\\ & {\mathbf{Z}}_v={\mathbf{Q}}_v-\mathrm{diag}\left({\mathbf{Q}}_v\right)\\ & \forall v=1,\dots ,V\end{array}$$

增广拉格朗日函数：
$$\begin{array}{l}\mathcal{L}\left({\mathbf{P}}_v,{\mathbf{H}}_v,{\mathbf{Z}}_v,{\mathbf{Q}}_v,{\mathbf{E}}_v,\tilde{\mathbf{Z}},\mathbf{J},\mathbf{H}\right)=\Vert \mathbf{J}{\Vert }_{\ast }\\ +\lambda {\sum }_v{\Vert {\mathbf{E}}_v\Vert }_{2,1}+\beta {\sum }_v{\Vert {\mathbf{Z}}_v\Vert }_1+\Phi \left({\mathbf{Y}}_z,\tilde{\mathbf{Z}}-\mathbf{J}\right)\\ +{\sum }_v\Phi \left({\mathbf{Y}}_v^1,{\mathbf{P}}_v{\mathbf{X}}_v-\left[\mathbf{H};{\mathbf{H}}_v\right]-{\mathbf{E}}_v^1\right)\\ +{\sum }_v\Phi \left({\mathbf{Y}}_v^2,\left[\mathbf{H};{\mathbf{H}}_v\right]-\left[\mathbf{H};{\mathbf{H}}_v\right]\tilde{\mathbf{Z}}-\left[\mathbf{H};{\mathbf{H}}_v\right]{\mathbf{Z}}_v-{\mathbf{E}}_v^2\right)\\ +{\sum }_v\Phi \left({\mathbf{Y}}_v^3,{\mathbf{Z}}_v-{\mathbf{Q}}_v+\mathrm{diag}\left({\mathbf{Q}}_v\right)\right)\\ \text{ s.t. }{\mathbf{P}}_v{\mathbf{P}}_v^{\top }=\mathbf{I},{\mathbf{E}}_v=\left[{\mathbf{E}}_v^1;{\mathbf{E}}_v^2\right],\forall v=1,\dots ,V\end{array}$$

基于此，将优化问题分为following multiple subproblems

$P_v-Subproblem$:

fix $P_v$, the object function is equivalent to minimizing
$$\underset{{\mathbf{P}}_v}{\min }\Phi \left({\mathbf{Y}}_v^1,{\mathbf{P}}_v{\mathbf{X}}_v-\left[\mathbf{H};{\mathbf{H}}_v\right]-{\mathbf{E}}_v^1\right),\text{ s.t. }{\mathbf{P}}_v{\mathbf{P}}_v^T=\mathbf{I}\text{\hspace{1em}(9)}$$

包含了矩阵正交约束

Fig.2 说明使用投影操作在低维特征空间中获取共享特征和特定视图特征的处理流程

$H_v-Subproblem$:

$$\begin{array}{rl}{\mathbf{H}}_v=& \left({\mathbf{P}}_v^c{\mathbf{X}}_v-{\mathbf{E}}_v^{1,c}+\frac{{\mathbf{Y}}_v^{1,c}}{\mu }+{\mathbf{E}}_v^{2,c}{\mathbf{Z}}_v^{\prime \top }-\frac{{\mathbf{Y}}_v^{2,c}{\mathbf{Z}}_v^{\prime \top }}{\mu }\right){\left(\mathbf{I}+{\mathbf{Z}}_v^{\prime }{\mathbf{Z}}_v^{\prime \top }\right)}^{-1}\end{array}\text{\hspace{1em}(12)}$$

$Z_v-Subproblem$:

$$\begin{array}{rl}{\mathbf{Z}}_v=& {\left({\mathbf{B}}_v^{\top }{\mathbf{B}}_v+\mathbf{I}\right)}^{-1}\\ & \left({\mathbf{Q}}_v-\mathrm{diag}\left({\mathbf{Q}}_v\right)+{\mathbf{B}}_v^{\top }{\mathbf{A}}_v+\frac{{\mathbf{B}}_v^{\top }{\mathbf{Y}}_v^2-{\mathbf{Y}}_v^3}{\mu }\right)\end{array}$$

$Q_v-Subproblem$:

$${\mathbf{Q}}_v={\mathbf{Q}}_v^{\prime }-\mathrm{diag}\left({\mathbf{Q}}_v^{\prime }\right)$$where ${\mathbf{Q}}_v^{\prime }={\Im }_{(\beta /\mu )}\left({\mathbf{Z}}_v+{\mathbf{Y}}_v^3/\mu \right)$$,\Im$ is an element-wise shrinkage thresholding operator

$E_v-Subproblem$:

$$\begin{array}{rl}{\mathbf{E}}_v=& \underset{{\mathbf{E}}_v}{\mathrm{argmin}}\lambda {\Vert {\mathbf{E}}_v\Vert }_{2,1}+\Phi \left({\mathbf{Y}}_v^1,{\mathbf{P}}_v{\mathbf{X}}_v-\left[\mathbf{H};{\mathbf{H}}_v\right]-{\mathbf{E}}_v^1\right)\\ & +\Phi \left({\mathbf{Y}}_v^2,\left[\mathbf{H};{\mathbf{H}}_v\right]-\left[\mathbf{H};{\mathbf{H}}_v\right]\mathbf{Z}-\left[\mathbf{H};{\mathbf{H}}_v\right]{\mathbf{Z}}_v-{\mathbf{E}}_v^2\right)\\ =& \underset{{\mathbf{E}}_v}{\mathrm{argmin}}\frac{\lambda }{\mu }{\Vert {\mathbf{E}}_v\Vert }_{2,1}+\frac{1}{2}{\Vert {\mathbf{E}}_v-{\mathbf{G}}_v\Vert }_F^2\end{array}9\text{\hspace{1em}(1)}$$ where $G_v$ id formed by vertically concatenating the matrices ${\mathbf{P}}_v{\mathbf{X}}_v-\left[\mathbf{H};{\mathbf{H}}_v\right]+{\mathbf{Y}}_v^1/\mu$ and $\left[\mathbf{H};{\mathbf{H}}_v\right]-\left[\mathbf{H};{\mathbf{H}}_v\right]\tilde{\mathbf{Z}}-\left[\mathbf{H};{\mathbf{H}}_v\right]{\mathbf{Z}}_v+{\mathbf{Y}}_v^2/\mu$

$J-Subproblem$:

$$\underset{\mathbf{J}}{\min }\frac{1}{\mu }\Vert \mathbf{J}{\Vert }_{\ast }+\frac{1}{2}{\Vert \mathbf{J}-\left(\tilde{\mathbf{Z}}+{\mathbf{Y}}_z/\mu \right)\Vert }_F^2$$

$\tilde{Z}-Subproblem$:

$$\tilde{\mathbf{Z}}={\left(\mathbf{I}+\sum _v{\mathbf{D}}_v^{\top }{\mathbf{D}}_v\right)}^{-1}\left(\mathbf{J}-\frac{{\mathbf{Y}}_z}{\mu }+\sum _v{\mathbf{D}}_v^{\top }\left({\mathbf{C}}_v+\frac{{\mathbf{Y}}_v^2}{\mu }\right)\right)$$where KaTeX parse error: \tag works only in display equations

$H-Subproblem$:

be dropping some of the unrelated terms, optimize H as:$$\begin{array}{rl}\mathbf{H}=& \sum _v\left({\mathbf{P}}_v^S{\mathbf{X}}_v-{\mathbf{E}}_v^{1,s}+\frac{{\mathbf{Y}}_v^{1,s}}{\mu }+{\mathbf{E}}_v^{2,s}{\mathbf{Z}}_v^{\prime \top }-\frac{{\mathbf{Y}}_v^{2,s}{\mathbf{Z}}_v^{\prime \top }}{\mu }\right){\left(\sum _v\left(\mathbf{I}+{\mathbf{Z}}_v^{\prime }{\mathbf{Z}}_v^{\prime \top }\right)\right)}^{-1}\end{array}\text{\hspace{1em}(26)}$$where ${\mathbf{Z}}_v^{\prime }=\mathbf{I}-\tilde{\mathbf{Z}}-{\mathbf{Z}}_v$

$Multiplier:$

all multipliers ${\mathbf{Y}}_z,{\mathbf{Y}}_v^1,{\mathbf{Y}}_v^2,and{\mathbf{Y}}_v^3(v=1,...,V)$ can be updated by$$\{\begin{array}{l}{\mathbf{Y}}_z:={\mathbf{Y}}_z+\mu (\tilde{\mathbf{Z}}-\mathbf{J})\\ {\mathbf{Y}}_v^1:={\mathbf{Y}}_v^1+\mu \left({\mathbf{P}}_v{\mathbf{X}}_v-\left[\mathbf{H};{\mathbf{H}}_v\right]-{\mathbf{E}}_v^1\right)\\ {\mathbf{Y}}_v^2:={\mathbf{Y}}_v^2+\mu \left(\left[\mathbf{H};{\mathbf{H}}_v\right]-\left[\mathbf{H};{\mathbf{H}}_v\right]\tilde{\mathbf{Z}}-\left[\mathbf{H};{\mathbf{H}}_v\right]{\mathbf{Z}}_v-{\mathbf{E}}_v^2\right)\\ {\mathbf{Y}}_v^3:={\mathbf{Y}}_v^3+\mu \left({\mathbf{Z}}_v-{\mathbf{Q}}_v+\mathrm{diag}\left({\mathbf{Q}}_v\right)\right)\end{array}\text{\hspace{1em}(27)}$$

Algorithm

Personal Review

先将input线性投影，投影后的式子进行扩展分为了shared components and specific feature of each single view.接着推出多视角低维度表达模型，，最后就得出了融合了共享和特定视角的目标函数
其主要思想就是将输入分为共享的和特定的 ，然后再找到目标函数，使得Loss function 最小