- 原始问题与对偶问题
-
原始问题：
求 m i n x ∈ R n f ( x ) \underset{x\in R^n}{min}f(x) x∈Rnminf(x)，
s.t. c i ( x ) ≤ 0 , i = 1 , 2 , . . k c_i(x)\leq 0,i=1,2,..k ci(x)≤0,i=1,2,..k
h j ( x ) = 0 , j = 1 , 2.. l h_j(x)=0,j=1,2..l hj(x)=0,j=1,2..l
拉格朗日函数
L ( x , α , β ) = f ( x ) + ∑ i k α i c i ( x ) + ∑ j l β j h j ( x ) L(x,\alpha,\beta)=f(x)+\sum_i^k\alpha_ic_i(x)+\sum_j^l\beta_jh_j(x) L(x,α,β)=f(x)+∑ikαici(x)+∑jlβjhj(x)
设 θ P ( x ) = m a x α , β : α ≥ 0 L ( x , α , β ) \theta_P(x)=\underset{\alpha,\beta:\alpha\geq0}{max}L(x,\alpha,\beta) θP(x)=α,β:α≥0maxL(x,α,β)
如果 c i ( x ) c_i(x) ci(x)与 h i ( x ) h_i(x) hi(x)不满足前面的条件约束，则上式就会变成正无穷
θ P ( x ) = { f ( x ) + I n f \theta_P(x)=\begin{cases} f(x) & \\ +Inf \end{cases} θP(x)={f(x)+Inf
然后再考虑最小化问题 m i n x θ P ( x ) \underset{x}{min}\theta_P(x) xminθP(x)
则上式与f(x)极小化是等价的。这个就是极小极大问题 -
对偶问题:
-
θ
D
(
α
,
β
)
=
m
i
n
x
L
(
x
,
α
,
β
)
\theta_D(\alpha,\beta)=\underset{x}{min}L(x,\alpha,\beta)
θD(α,β)=xminL(x,α,β)
然后再考虑极大
m a x α , β θ D ( α , β ) \underset{\alpha,\beta}{max}\theta_D(\alpha,\beta) α,βmaxθD(α,β)
这个就是极大极小问题
-
θ
D
(
α
,
β
)
=
m
i
n
x
L
(
x
,
α
,
β
)
\theta_D(\alpha,\beta)=\underset{x}{min}L(x,\alpha,\beta)
θD(α,β)=xminL(x,α,β)
-
原始问题与对偶问题的关系
定理1：如果两个问题都有最优值，对偶问题会小于等于原始问题
推论：如果可以找到 x ∗ , α ∗ , β ∗ x^*,\alpha^*,\beta^* x∗,α∗,β∗是原始与对偶问题的最优解，且两者相等，则分别是原始问题与对偶问题的最优解。这样理解，因为原始问题会大于等于对偶问题，则在取等号时取到了最小值，则是最优解，反过来一样，对偶问题是找最大值。
定理2：如果f(x)与c(x)是凸函数，h(x)是仿射函数，并且c(x)是严格可行的（存在x，使得对于所有的i有c(x)<0），则推论中的解是存在的。
定理3:求最优解的充分必要条件是 x ∗ , α ∗ , β ∗ x^*,\alpha^*,\beta^* x∗,α∗,β∗满足KKT条件
∇ x L ( x ∗ , α ∗ , β ∗ ) = 0 α i ∗ c i ( x ∗ ) = 0 c i ( x ∗ ) ≤ 0 α i ∗ ≥ 0 h j ( x ∗ ) = 0 \begin{aligned} \nabla_xL(x^*,\alpha^*,\beta^*)=0 \\ \alpha_i^*c_i(x^*)=0 \\ c_i(x^*)\leq0 \\ \alpha_i^*\geq0 \\ h_j(x^*)=0 \end{aligned} ∇xL(x∗,α∗,β∗)=0αi∗ci(x∗)=0ci(x∗)≤0αi∗≥0hj(x∗)=0
-
拉格朗日对偶性
最新推荐文章于 2024-05-20 20:56:26 发布
7483
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
