参考:Manifold regularized matrix completion for multi-label learning with
ADMM
试着推导下:
ρ
2
∥
Z
−
W
+
1
ρ
Λ
∥
F
2
=
ρ
2
t
r
[
(
Z
−
W
+
1
ρ
Λ
)
(
Z
−
W
+
1
ρ
Λ
)
T
]
=
ρ
2
t
r
[
(
Z
−
W
+
1
ρ
Λ
)
[
(
Z
−
W
)
T
+
(
1
ρ
Λ
)
T
]
=
ρ
2
[
∥
Z
−
W
∥
F
2
+
t
r
(
(
1
ρ
Λ
)
(
Z
−
W
)
T
)
+
t
r
(
(
Z
−
W
)
(
1
ρ
Λ
)
T
)
+
∥
1
ρ
Λ
∥
F
2
]
=
ρ
2
[
∥
Z
−
W
∥
F
2
+
2
t
r
(
(
1
ρ
Λ
)
(
Z
−
W
)
T
)
+
∥
1
ρ
Λ
∥
F
2
]
\frac{\rho}{2}\|Z-W+\frac{1}{\rho}\Lambda\|_F^2 \\ =\frac{\rho}{2}tr[(Z-W+\frac{1}{\rho}\Lambda)(Z-W+\frac{1}{\rho}\Lambda)^T ]\\ =\frac{\rho}{2}tr[(Z-W+\frac{1}{\rho}\Lambda)[(Z-W)^T+(\frac{1}{\rho}\Lambda)^T ]\\ =\frac{\rho}{2}[\|Z-W\|_F^2+tr((\frac{1}{\rho}\Lambda)(Z-W)^T)+tr((Z-W)(\frac{1}{\rho}\Lambda)^T)+\|\frac{1}{\rho}\Lambda\|_F^2] \\ =\frac{\rho}{2}[\|Z-W\|_F^2+2tr((\frac{1}{\rho}\Lambda)(Z-W)^T)+\|\frac{1}{\rho}\Lambda\|_F^2] \\
2ρ∥Z−W+ρ1Λ∥F2=2ρtr[(Z−W+ρ1Λ)(Z−W+ρ1Λ)T]=2ρtr[(Z−W+ρ1Λ)[(Z−W)T+(ρ1Λ)T]=2ρ[∥Z−W∥F2+tr((ρ1Λ)(Z−W)T)+tr((Z−W)(ρ1Λ)T)+∥ρ1Λ∥F2]=2ρ[∥Z−W∥F2+2tr((ρ1Λ)(Z−W)T)+∥ρ1Λ∥F2]
貌似不对……
换一个:
ρ
2
∥
Z
−
W
+
1
ρ
Λ
∥
F
2
=
ρ
2
∑
(
z
−
w
+
1
ρ
Λ
)
2
=
ρ
2
∑
[
(
z
−
w
)
2
+
(
1
ρ
Λ
)
2
+
2
(
z
−
w
)
1
ρ
Λ
]
=
ρ
2
∥
Z
−
W
∥
F
2
+
⟨
Z
−
W
,
Λ
⟩
+
1
2
ρ
∥
Λ
∥
F
2
\frac{\rho}{2}\|Z-W+\frac{1}{\rho}\Lambda\|_F^2 \\ =\frac{\rho}{2}\sum(z-w+\frac{1}{\rho}\Lambda)^2 \\ =\frac{\rho}{2}\sum[(z-w)^2+(\frac{1}{\rho}\Lambda)^2+2(z-w)\frac{1}{\rho}\Lambda] \\ =\frac{\rho}{2}\|Z-W\|_F^2+\langle Z-W,\Lambda \rangle+\frac{1}{2\rho}\|\Lambda\|_F^2
2ρ∥Z−W+ρ1Λ∥F2=2ρ∑(z−w+ρ1Λ)2=2ρ∑[(z−w)2+(ρ1Λ)2+2(z−w)ρ1Λ]=2ρ∥Z−W∥F2+⟨Z−W,Λ⟩+2ρ1∥Λ∥F2
之前疑惑,不管怎么算,都多了一项,不知道为啥!!!
后面经 知乎 长驱鬼侠大神解答。是因为:
因 为 表 达 式 是 对 Z 求 m i n , 所 以 加 Λ 的 任 意 函 数 都 成 立 \textcolor{red}{因为表达式是对Z求min,所以加 \Lambda 的任意函数都成立} 因为表达式是对Z求min,所以加Λ的任意函数都成立,所以可以任意凑项。即将 1 2 ρ ∥ Λ ∥ F 2 \frac{1}{2\rho}\|\Lambda\|_F^2 2ρ1∥Λ∥F2视为无关紧要的拼凑项。
大神V5, 点赞大神!!!