原问题
(P) min x    c T x s . t .    A x = b x ≥ 0 \min_x \;c^Tx\\s.t. \;Ax=b\\x\geq 0 \tag{P} xmincTxs.t.Ax=bx≥0(P)
对偶问题
(D)
max
y
  
b
T
y
s
.
t
.
  
A
T
y
+
s
=
c
s
≥
0
\max_y\;b^Ty\\s.t.\;A^Ty+s=c\\s\geq 0\tag{D}
ymaxbTys.t.ATy+s=cs≥0(D)
A
∈
R
m
×
n
,
x
∈
R
n
,
s
∈
R
n
,
y
∈
R
m
A \in \R^{m\times n}, x \in \R^{n}, s \in \R^{n}, y \in \R^{m}
A∈Rm×n,x∈Rn,s∈Rn,y∈Rm
对偶问题的增广拉格朗日函数:
L
t
(
y
,
s
,
λ
)
=
−
b
T
y
+
λ
T
(
A
T
y
+
s
−
c
)
+
t
2
∣
∣
A
T
y
+
s
−
c
∣
∣
2
2
,
=
−
b
T
y
+
t
2
(
∣
∣
A
T
y
+
s
−
c
+
λ
t
∣
∣
2
2
−
∣
∣
λ
t
∣
∣
2
2
)
,
s
.
t
.
s
≥
0
L_t(y,s,\lambda) = -b^Ty + \lambda^T(A^Ty+s-c) + \frac{t}{2}||A^Ty+s-c||_2^2,\\ = -b^Ty + \frac{t}{2} \big(||A^Ty+s-c + \frac{\lambda}{t}||_2^2 - ||\frac{\lambda}{t}||_2^2 \big), \\ s.t.\quad s \geq 0
Lt(y,s,λ)=−bTy+λT(ATy+s−c)+2t∣∣ATy+s−c∣∣22,=−bTy+2t(∣∣ATy+s−c+tλ∣∣22−∣∣tλ∣∣22),s.t.s≥0
迭代步骤为:
- (1) ( y + , s + ) = a r g m i n s ≥ 0 , y L t ( y , s , λ ) = a r g m i n s ≥ 0 , y − b T y + t 2 ( ∣ ∣ A T y + s − c + λ t ∣ ∣ 2 2 ) (y^+,s^+) = \mathop{argmin}_{s\geq0,y}\quad L_t(y,s,\lambda) \\ = \mathop{argmin}_{s\geq0,y}\quad -b^Ty + \frac{t}{2} \big(||A^Ty+s-c + \frac{\lambda}{t}||_2^2 \big) \tag{1} (y+,s+)=argmins≥0,yLt(y,s,λ)=argmins≥0,y−bTy+2t(∣∣ATy+s−c+tλ∣∣22)(1)
-
λ
+
=
λ
−
t
(
c
−
A
T
y
+
−
s
+
)
\lambda^+ = \lambda -t(c-A^Ty^+-s^+)
λ+=λ−t(c−ATy+−s+)
注意到子问题 (1) 中,若求得 y y y 的最优点 y + y^+ y+,则 s + s^+ s+ 必须满足:
s + = a r g m i n s ≥ 0 ∣ ∣ A T y + + s − c + λ t ∣ ∣ 2 2 = P R + n ( c − A T y + − λ t ) s^+ =\quad \mathop{argmin}_{s\geq0}\quad ||A^Ty^++s-c + \frac{\lambda}{t}||_2^2 \\=\quad \mathbb{P}_{\mathbf{R}_+^n}(c-A^Ty^+-\frac{\lambda}{t}) s+=argmins≥0∣∣ATy++s−c+tλ∣∣22=PR+n(c−ATy+−tλ)
其中, P R + n ( ⋅ ) \mathbb{P}_{\mathbf{R}_+^n}(\cdot) PR+n(⋅) 表示向 R n \mathbb{R}^n Rn 空间中第一象限的投影。将上式代入 (1) 中可以将变量 s s s 消去,得到简化的迭代形式: - (2) y + = a r g m i n s ≥ 0 , y − b T y + t 2 ∑ i = 1 n Ψ i ( y , λ , t ) y^+ =\quad \mathop{argmin}_{s\geq0,y}\quad -b^Ty + \frac{t}{2} \sum_{i=1}^n \Psi_i(y,\lambda,t) \tag{2} y+=argmins≥0,y−bTy+2ti=1∑nΨi(y,λ,t)(2)
-
λ
+
=
P
R
+
n
(
λ
−
t
(
c
−
A
T
y
)
)
\lambda^+ =\quad \mathbb{P}_{\mathbf{R}_+^n}(\lambda -t(c-A^Ty))
λ+=PR+n(λ−t(c−ATy))
其中
ψ i ( y , λ , t ) = { ( A i T y − c i + λ i t ) 2 , c i − A i T y − λ i / t < 0 0 , o t h e r w i s e \psi_i(y,\lambda,t)=\left\{ \begin{array}{lr} (A_i^Ty-c_i + \frac{\lambda_i}{t})^2, & c_i - A_i^Ty - \lambda_i/t <0 \\ 0, & otherwise \end{array} \right. ψi(y,λ,t)={(AiTy−ci+tλi)2,0,ci−AiTy−λi/t<0otherwise
对子问题 (2}) 的求解可以采用梯度法,半光滑牛顿法等等。