在解决最优化问题的时候,常常利用拉格朗日对偶性(Lagrange duality)将原始问题转换成对偶问题,通过解对偶问题而得到原始问题的解。
1.原始问题
假设
f(x),ci(x),hj(x)
是定义在
Rn
上的连续可微函数。考虑约束最优化问题:
称此问题为原始最优化问题。
引入广义拉格朗日函数(Generalized Lagrange Function)
这里 x=(x(1),x(2),⋅⋅⋅,x(n))T∈Rn ,其中 αi,βi 是拉格朗日乘子, ai≥0 。考虑 x 的函数:
下标P表示原始问题(premier)
原始问题的解等价于
换句话说原始问题等价于广义拉格朗日函数的极小极大问题。(详细证明可见《统计学习方法》)
为了表示方便定义原始问题的最优值:
2. 对偶问题
定义
θD(α,β)=minL(x,α,β)
再考虑极大化上述问题,即:
广义拉格朗日函数的极大极小问题表示为约束最优化问题:
称为原始问题的对偶问题。定义对偶问题的最优解:
3. 原始问题和对偶问题的关系
在如下假设下原始问题和对偶问题的最优解相等。
(1) 假设函数
f(x)
和
ci(x)
是凸函数,
hj(x)
是仿射函数,并且
ci(x)
是存在的,对所有
ci(x)<0
,则存在
x∗,α∗,β∗,
是
x∗
是原始问题的解,
α∗,β∗
是对偶问题的解,并且
p∗=d∗=L(x∗,α∗,β∗)
(2) 假设函数
f(x)
和
ci(x)
是凸函数,
hj(x)
是仿射函数,并且
ci(x)
是存在的,对所有
ci(x)<0
,则
x∗,α∗,β∗
是原始问题和对偶问题的解的充分必要条件是
x∗,α∗,β∗
满足下面的KKT(Karush-Kuhn-Tucker)条件: