拉格朗日对偶性
该方法是用于解决约束最优化问题的常用方法。
1.原始问题
假设
f
(
x
)
,
c
i
(
x
)
,
h
j
(
x
)
f(x),c_i(x),h_j(x)
f(x),ci(x),hj(x)是定义在
R
n
R^n
Rn升的连续可微函数:
(1)
min
x
∈
R
n
f
(
x
)
s
.
t
.
c
i
(
x
)
≤
0
,
i
=
1
,
2
,
​
⋯
 
,
k
h
j
(
x
)
=
0
,
j
=
1
,
2
,
​
⋯
 
,
l
\begin{aligned} \tag{1} &\min_{x\in R_n} f(x) \\ s.t.\quad &c_i(x) \le 0 ,\quad i=1,2,\dotsi,k\\ &h_j(x)=0, \quad j=1,2,\dotsi,l \end{aligned}
s.t.x∈Rnminf(x)ci(x)≤0,i=1,2,⋯,khj(x)=0,j=1,2,⋯,l(1)
上式我们称之为原始问题。
为了解决以上问题我们引入广义的拉个朗日函数:
(2)
L
(
x
,
α
,
β
)
=
f
(
x
)
+
∑
i
=
1
k
α
i
c
i
(
x
)
+
∑
j
=
1
l
β
j
h
j
(
x
)
\tag{2} L(x,\alpha,\beta)=f(x)+\sum_{i=1}^k{\alpha_ic_i(x)}+\sum_{j=1}^l{\beta_jh_j(x)}
L(x,α,β)=f(x)+i=1∑kαici(x)+j=1∑lβjhj(x)(2)
x
∈
R
n
,
α
i
和
β
j
x\in R^n,\alpha_i和\beta_j
x∈Rn,αi和βj是拉格朗日系数,
α
i
≥
0
\alpha_i \ge 0
αi≥0。这样可以得到关于x的函数:
(3)
θ
P
(
x
)
=
max
α
,
β
:
α
≥
0
L
(
x
,
α
,
β
)
\tag{3} \theta_P(x)=\max_{\alpha,\beta:\alpha \ge 0}L(x,\alpha,\beta)
θP(x)=α,β:α≥0maxL(x,α,β)(3)
下标P代表原问题。很显然上式的值为:
(4)
θ
P
(
x
)
=
{
f
(
x
)
,
x满足原始问题约束条件
+
∞
,
其他
\tag{4} \theta_P(x) = \begin{cases} f(x), &\text{x满足原始问题约束条件} \\ +\infin,&\text{其他} \end{cases}
θP(x)={f(x),+∞,x满足原始问题约束条件其他(4)
所以原始问题等价于:
(5)
p
∗
=
min
x
θ
P
(
x
)
=
min
x
max
α
,
β
:
α
≥
0
L
(
x
,
α
,
β
)
\tag{5} p^*=\min_x\theta_P(x)=\min_x\max_{\alpha,\beta:\alpha \ge 0}L(x,\alpha,\beta)
p∗=xminθP(x)=xminα,β:α≥0maxL(x,α,β)(5)
我们称之为拉格朗日函数的极小极大问题。
2.对偶问题
原始问题的对偶问题定义为:
(6)
d
∗
=
max
α
,
β
:
α
≥
0
θ
D
(
x
)
=
max
α
,
β
:
α
≥
0
min
x
L
(
x
,
α
,
β
)
\tag{6} d^*=\max_{\alpha,\beta:\alpha \ge 0}\theta_D(x)=\max_{\alpha,\beta:\alpha \ge 0}\min_xL(x,\alpha,\beta)
d∗=α,β:α≥0maxθD(x)=α,β:α≥0maxxminL(x,α,β)(6)
我们称之为拉格朗日函数的极大极小问题。
3.原始问题和对偶问题的关系
定理1:若原始问题和对偶问题都有最优值,则有:
(7) d ∗ ≤ p ∗ \tag{7} d^*\le p^* d∗≤p∗(7)
推论:设 x ∗ 和 α ∗ , β ∗ x^*和\alpha^*,\beta^* x∗和α∗,β∗分别是原始问题和对偶问题的可行解 d ∗ = p ∗ d^* = p^* d∗=p∗,则 x ∗ 和 α ∗ , β ∗ x^*和\alpha^*,\beta^* x∗和α∗,β∗分别是原始问题和对偶问题最优解。
很显然我们此时可以用解对偶问题的方式,求解原问题。
定理2:假设 f ( x ) 和 c i ( x ) f(x)和c_i(x) f(x)和ci(x)是凸函数, h j ( x ) h_j(x) hj(x)是仿射函数(最高次项为1的函数);并且假设不等式约束 c i ( x ) c_i(x) ci(x)是严格可行的,即存在x,对于所有i有 c i ( x ) < 0 c_i(x)<0 ci(x)<0,则存在 x ∗ 和 α ∗ , β ∗ x^*和\alpha^*,\beta^* x∗和α∗,β∗分别是原始问题和对偶问题的解,并且:
(8) d ∗ = p ∗ = L ( x , α , β ) \tag{8} d^* = p^* = L(x,\alpha,\beta) d∗=p∗=L(x,α,β)(8)
定理3:假设 f ( x ) 和 c i ( x ) f(x)和c_i(x) f(x)和ci(x)是凸函数, h j ( x ) h_j(x) hj(x)是仿射函数;并且假设不等式约束 c i ( x ) c_i(x) ci(x)是严格可行的,则 x ∗ 和 α ∗ , β ∗ x^*和\alpha^*,\beta^* x∗和α∗,β∗分别是原始问题和对偶问题的解充分必要条件是 x ∗ , α ∗ , β ∗ x^*,\alpha^*,\beta^* x∗,α∗,β∗满足下面的Karush-Kuhn-Tucker(KKT)条件:
(9)
∇
x
L
(
x
∗
,
α
∗
,
β
∗
)
=
0
α
i
∗
c
i
(
x
∗
)
=
0
c
i
(
x
∗
)
≤
0
α
i
∗
≥
0
h
j
(
x
∗
)
=
0
\tag{9} \begin{aligned} \nabla_xL(x^*,\alpha^*,\beta^*)&=0 \\ \alpha_i^*c_i(x^*)&=0\\ c_i(x^*)&\le0\\ \alpha_i^*&\ge0\\ h_j(x^*)&=0 \end{aligned}
∇xL(x∗,α∗,β∗)αi∗ci(x∗)ci(x∗)αi∗hj(x∗)=0=0≤0≥0=0(9)
特别指出:若
α
i
∗
>
0
\alpha_i^*>0
αi∗>0,则c_i(x^*)=0。所以我们称
α
i
∗
≥
0
\alpha_i^*\ge0
αi∗≥0是KKT的对偶互补条件。