Generalized Latent Multi-View Subspace Clustering
原文链接 https://ieeexplore.ieee.org/document/8502831/
主要学习了子空间聚类部分
Abstract
论文方法从多个角度探索潜在的互补信息，同时寻找潜在的潜在表征。利用多视图的互补性，潜表示比单个视图更全面地描述了数据，从而使子空间表示更加准确和稳定。
提出了两个LMSC公式:基于潜在表示与每个视图之间的线性相关的线性LMSC (lLMSC)和基于神经网络处理一般关系的 generalized LMSC (gLMSC)。该方法可在交变方向最小化(ALM-ADM)框架的增广拉格朗日乘子下进行有效优化。
1 Introduction
现有的子空间聚类方法的通用公式：
min
Z
L
(
X
,
X
Z
)
+
λ
Ω
(
Z
)
(1)
\min _{\mathrm{Z}} \mathcal{L}(\mathbf{X}, \mathbf{X Z})+\lambda \Omega(\mathbf{Z})\tag1
ZminL(X,XZ)+λΩ(Z)(1)
现有的多视角子空间聚类方法通常直接重构原始视图上的数据点，生成单独的、特定于视图的子空间表示，一般采用以下公式:
min
{
Z
(
v
)
}
v
=
1
V
L
(
{
(
X
(
v
)
,
X
(
v
)
Z
(
v
)
)
}
v
=
1
V
)
+
λ
Ω
(
{
Z
(
v
)
}
v
=
1
V
)
(2)
\min _{\left\{\mathbf{Z}^{(v)}\right\}_{v=1}^{V}} \mathcal{L}\left(\left\{\left(\mathbf{X}^{(v)}, \mathbf{X}^{(v)} \mathbf{Z}^{(v)}\right)\right\}_{v=1}^{V}\right)+\lambda \Omega\left(\left\{\mathbf{Z}^{(v)}\right\}_{v=1}^{V}\right)\tag2
{Z(v)}v=1VminL({(X(v),X(v)Z(v))}v=1V)+λΩ({Z(v)}v=1V)(2)
X
(
v
)
\mathbf{X}^{(v)}
X(v)对应于特征矩阵
Z
(
v
)
\mathbf{Z}^{(v)}
Z(v)对应于
v
v
v 视角子空间表示
3 Latent Multi-view Subspace Clustering
潜在的假设是，这些不同的观点来自一个潜在的表征。基本上，从一个方面来说，来自不同视图的信息应该被编码到习得的表示中。另一方面，学习到的潜表征应满足特定任务(任务导向目标).因此有了通用的目标函数：
I
(
{
X
v
}
v
=
1
V
,
H
;
Θ
1
)
⏟
information preservation
+
λ
S
(
H
;
Θ
2
)
⏟
task-oriented goal
(3)
\underbrace{\mathcal{I}\left(\left\{\mathbf{X}_{v}\right\}_{v=1}^{V}, \mathbf{H} ; \mathbf{\Theta}_{1}\right)}_{\text {information preservation }}+\lambda \underbrace{\mathcal{S}\left(\mathbf{H} ; \mathbf{\Theta}_{2}\right)}_{\text {task-oriented goal }}\tag3
information preservation
I({Xv}v=1V,H;Θ1)+λtask-oriented goal
S(H;Θ2)(3)
H
=
[
h
1
,
…
,
h
n
]
∈
R
k
×
n
\mathbf{H}=\left[\mathbf{h}_{1}, \ldots, \mathbf{h}_{n}\right] \in \mathbb{R}^{k \times n}
H=[h1,…,hn]∈Rk×n : latent representation matrix
I
(
.
)
\mathcal{I}(\ .\ )
I( . ): 确保从初始视角的潜在表示信息编码，从而避免了潜在表征对特定任务的偏向
S
(
.
)
\mathcal{S}(\ .\ )
S( . ): 任务导向项
Θ
1
，
Θ
2
\Theta_{1} ，\Theta_{2}
Θ1，Θ2: 分别是
I
(
.
)
\mathcal{I}(\ .\ )
I( . )和
S
(
.
)
\mathcal{S}(\ .\ )
S( . )的对应的参数
更具体地，对于潜在的多视角子空间聚类，有下式：
min
θ
v
,
H
,
Z
L
S
(
H
,
H
Z
)
+
∑
v
=
1
V
α
v
L
V
(
F
v
(
H
;
θ
v
)
,
X
(
v
)
)
+
λ
Ω
(
Z
)
(3)
\min _{\boldsymbol{\theta}_{v}, \mathbf{H}, \mathbf{Z}} \mathcal{L}_{S}(\mathbf{H}, \mathbf{H Z})+\sum_{v=1}^{V} \alpha_{v} \mathcal{L}_{V}\left(\mathcal{F}_{v}\left(\mathbf{H} ; \theta_{v}\right), \mathbf{X}^{(v)}\right)+\lambda \Omega(\mathbf{Z})\tag3
θv,H,ZminLS(H,HZ)+v=1∑VαvLV(Fv(H;θv),X(v))+λΩ(Z)(3)
L
S
(
H
,
H
Z
)
\mathcal{L}_{S}(\mathbf{H}, \mathbf{H Z})
LS(H,HZ): 子空间表示 的损失函数（the loss function for the subspace representation）
L
V
(
F
v
(
H
;
θ
v
)
,
X
(
v
)
)
\mathcal{L}_{V}\left(\mathcal{F}_{v}\left(\mathbf{H} ; \theta_{v}\right), \mathbf{X}^{(v)}\right)
LV(Fv(H;θv),X(v))： 重构后的损失
F
v
(
H
;
θ
v
)
\mathcal{F}_{v}\left(\mathbf{H} ; \theta_{v}\right)
Fv(H;θv): 从潜在表示
H
\mathbf{H}
H到
v
v
v视角的观测的底层映射
α
v
>
0
a
n
d
λ
>
0
\alpha_v>0\ and\ \lambda>0
αv>0 and λ>0: 分别用于控制
v
v
v视角的影响和子空间表示的正则化程度
有了(4)式的目标函数，可以学习到潜在多视角表示。论文提出两种潜在多视角子空间聚类方法：linear（1）LMSC and generalized （g）LMSC
ILMSC
object function:
min
P
,
H
,
Z
,
E
V
,
E
S
∣
E
∥
2
,
1
+
λ
∥
Z
∥
∗
s.t.
X
=
P
H
+
E
V
,
H
=
H
Z
+
E
S
,
E
=
[
E
V
;
E
S
]
and
P
P
T
=
I
(10)
\begin{array}{c}\min_{\mathbf{P}, \mathbf{H}, \mathbf{Z}, \mathbf{E}_{V},\mathbf{E}_{S}} |\mathbf{E}\|_{2,1}+\lambda\|\mathbf{Z}\|_{*} \\\text {s.t. } \mathbf{X}=\mathbf{P H}+\mathbf{E}_{V}, \mathbf{H}=\mathbf{H Z}+\mathbf{E}_{S}, \\\mathbf{E}=\left[\mathbf{E}_{V} ; \mathbf{E}_{S}\right] \text { and } \mathbf{P} \mathbf{P}^{T}=\mathbf{I}\end{array}\tag{10}
minP,H,Z,EV,ES∣E∥2,1+λ∥Z∥∗s.t. X=PH+EV,H=HZ+ES,E=[EV;ES] and PPT=I(10)
其中，X 表示第 v 个视角的特征矩阵，H 表示待学习隐藏表达矩阵，Z 表示子空间表达矩阵，P 表示隐藏表达到每个视角的映射关系，Es和 Ev分别表示对于每个样本和每个视角的重构误差，两者按列组合成 E，λ是一个超参数，用来调整重构误差项与正则项的比重。
J J J is introduced to replace Z Z Z min P , H , Z , E V , E S , J ∥ E ∥ 2 , 1 + λ ∥ J ∥ ∗ s.t. X = P H + E V , H = H Z + E S E = [ E V ; E S ] , P P T = I and J = Z \begin{array}{c}\min _{\mathbf{P}, \mathbf{H}, \mathbf{Z}, \mathbf{E}_{V}, \mathbf{E}_{S}, \mathbf{J}}\|\mathbf{E}\|_{2,1}+\lambda\|\mathbf{J}\|_{*} \\\text {s.t. } \mathbf{X}=\mathbf{P H}+\mathbf{E}_{V}, \mathbf{H}=\mathbf{H Z}+\mathbf{E}_{S} \\\mathbf{E}=\left[\mathbf{E}_{V} ; \mathbf{E}_{S}\right], \mathbf{P} \mathbf{P}^{T}=\mathbf{I} \text { and } \mathbf{J}=\mathbf{Z}\end{array} minP,H,Z,EV,ES,J∥E∥2,1+λ∥J∥∗s.t. X=PH+EV,H=HZ+ESE=[EV;ES],PPT=I and J=Z
AlM problem: L ( P , H , Z , E V , E S , J ) = ∥ E ∥ 2 , 1 + λ ∥ J ∥ ∗ + Φ ( Y 1 , X − P H − E V ) + Φ ( Y 2 , H − H Z − E S ) + Φ ( Y 3 , J − Z ) s.t. E = [ E V ; E S ] ; P P T = I \begin{aligned}\mathcal{L}\left(\mathbf{P}, \mathbf{H}, \mathbf{Z}, \mathbf{E}_{V}, \mathbf{E}_{S}, \mathbf{J}\right) =&\|\mathbf{E}\|_{2,1}+\lambda\|\mathbf{J}\|_{*} \\&+\Phi\left(\mathbf{Y}_{1}, \mathbf{X}-\mathbf{P} \mathbf{H}-\mathbf{E}_{V}\right) \\&+\Phi\left(\mathbf{Y}_{2}, \mathbf{H}-\mathbf{H Z}-\mathbf{E}_{S}\right)+\Phi\left(\mathbf{Y}_{3}, \mathbf{J}-\mathbf{Z}\right) \\\text { s.t. } \mathbf{E} &=\left[\mathbf{E}_{V} ; \mathbf{E}_{S}\right] ; \mathbf{P} \mathbf{P}^{T}=\mathbf{I}\end{aligned} L(P,H,Z,EV,ES,J)= s.t. E∥E∥2,1+λ∥J∥∗+Φ(Y1,X−PH−EV)+Φ(Y2,H−HZ−ES)+Φ(Y3,J−Z)=[EV;ES];PPT=I
have the definition as: Φ ( C , D ) = μ 2 ∥ D ∥ F 2 + ⟨ C , D ⟩ \Phi(\mathbf{C}, \mathbf{D})=\frac{\mu}{2}\|\mathbf{D}\|_{F}^{2}+\langle\mathbf{C}, \mathbf{D}\rangle Φ(C,D)=2μ∥D∥F2+⟨C,D⟩
Subproblem
- P − s u b p r o b l e m P-subproblem P−subproblem: P ∗ = arg min P Φ ( Y 1 , X − P H − E V ) s.t. P P T = I \begin{array}{l}\mathbf{P}^{*}=\arg \min _{\mathbf{P}} \Phi\left(\mathbf{Y}_{1}, \mathbf{X}-\mathbf{P H}-\mathbf{E}_{V}\right) \\\text { s.t. } \mathbf{P} \mathbf{P}^{T}=\mathbf{I}\end{array} P∗=argminPΦ(Y1,X−PH−EV) s.t. PPT=I
就是优化，变化一个变量，固定其它参数，使得目标函数最小
gLMSC
论文使用三层神经网络训练，目标函数：
min
{
θ
v
}
v
=
1
V
,
H
,
Z
1
2
∥
H
−
H
Z
∥
F
2
+
∑
v
=
1
V
α
v
2
∥
X
v
−
W
(
2
,
v
)
f
(
W
(
1
,
v
)
H
)
∥
F
2
+
λ
∥
Z
∥
∗
\begin{array}{l}\min _{\left\{\boldsymbol{\theta}_{v}\right\}_{v=1}^{V}, \mathbf{H}, \mathbf{Z}} \frac{1}{2}\|\mathbf{H}-\mathbf{H Z}\|_{F}^{2} \\\quad+\sum_{v=1}^{V} \frac{\alpha_{v}}{2}\left\|\mathbf{X}_{v}-\mathbf{W}_{(2, v)} f\left(\mathbf{W}_{(1, v)} \mathbf{H}\right)\right\|_{F}^{2}+\lambda\|\mathbf{Z}\|_{*}\end{array}
min{θv}v=1V,H,Z21∥H−HZ∥F2+∑v=1V2αv∥∥Xv−W(2,v)f(W(1,v)H)∥∥F2+λ∥Z∥∗
其中，W(k,v)表示对于第 v 个视角第 k 层到 k+1 层的权重矩阵
激活函数：
f
(
a
)
=
tanh
(
a
)
=
1
−
e
2
a
1
+
e
−
2
a
(5)
f(a)=\tanh (a)=\frac{1-e^{2 a}}{1+e^{-2 a}}\tag5
f(a)=tanh(a)=1+e−2a1−e2a(5)
相应的导数计算：
f
′
(
a
)
=
tanh
′
(
a
)
=
1
−
tanh
2
(
a
)
(6)
f^{\prime}(a)=\tanh ^{\prime}(a)=1-\tanh ^{2}(a)\tag6
f′(a)=tanh′(a)=1−tanh2(a)(6)
420
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
