本文用以介绍和分析带有约束的优化命题的对偶性(Duality),给出对偶命题的推导方面,并举例说明。主要参考的是Jorge Nocedal 和 Stephen J. Wright 的 Numerical Optimization 一书(第二版)。
对偶命题的定义
考察如下的只含不等式约束的一般性优化命题:
minx∈Rnf(x)subject to c(x)≥0(1)
针对这一命题的Lagrangian函数为:
L(x,λ)=f(x)−λTc(x)
其中,
λ∈Rm
是Lagrangian乘子。
针对上面的式子,我们定义如下的对偶目标函数(dual objective function) q 如下:
因此,我们可以定义命题(1)的对偶命题(Dual Problem)如下(这里 λ 被称为对偶变量):
maxλ∈Rmq(λ)subject to λ≥0(3)
对偶命题的性质
性质 1 (Weak Duality)
对于任意满足(1)式中约束的 x¯ 以及任意的