本文介绍了统计学习方法中的拉格朗日对偶性，包括原始优化问题如何转换为拉格朗日的极小极大问题，对偶问题的定义，以及原问题与对偶问题的关系。当原问题是凸优化并满足特定条件时，可通过求解对偶问题来找到最优解。关键概念包括拉格朗日乘子、凸集和Slater条件，以及KKT条件在寻找原问题和对偶问题解中的作用。
1. 原始优化问题等价拉格朗日的极小极大问题
原始优化问题
c
i
(
x
)
c_i(x)
ci(x)为不等式约束
h
j
(
x
)
h_j(x)
hj(x)为等式约束
广义拉格朗日函数
其中
α
j
,
β
j
\alpha_j,\beta_j
αj,βj称为拉格朗日乘子，
α
i
≥
0
\alpha_i \ge 0
αi≥0
考虑以下关于x的函数：
有:
则
θ
p
(
x
)
\theta_p(x)
θp(x)的极小化问题就等价于原优化问题:
min
x
θ
p
(
x
)
\min_x\theta_p(x)
minxθp(x)则称为广义拉格朗日函数的极小极大问题
2. 对偶问题
原始问题的对偶问题为广义拉格朗日函数的极大极小问题，即：
3. 原问题和对偶问题的关系
定理1
原优化问题与对偶问题最优值的关系：
d
∗
≤
p
∗
d^* \le p^*
d∗≤p∗
定理2
当原优化问题为凸优化问题，且满足slater条件时则存在
x
∗
,
α
∗
,
β
∗
x^*, \alpha^*,\beta^*
x∗,α∗,β∗使得：
p
∗
=
d
∗
=
L
(
x
∗
,
α
∗
,
β
∗
)
p^* = d^* = L(x^*, \alpha^*,\beta^*)
p∗=d∗=L(x∗,α∗,β∗)
即对原优化问题的求解可以转化为对对偶问题的求解。
凸优化问题满足两个条件：
- 可行域为凸集；（可行域中任意两点之间的连线人在该可行域中）
- 函数为凸函数
slater条件是指，凸集的交集有内点。（凸集的交集仍为凸集，但不一定有内点）
定理3
x
∗
,
α
∗
,
β
∗
x^*, \alpha^*,\beta^*
x∗,α∗,β∗满足KKT条件，则
x
∗
,
α
∗
,
β
∗
x^*, \alpha^*,\beta^*
x∗,α∗,β∗为原问题和对偶问题的解。（前提是满足定理2成立的条件）
扫一扫
1492
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
