优化命题的对偶性（Duality）

本文用以介绍和分析带有约束的优化命题的对偶性（Duality），给出对偶命题的推导方面，并举例说明。主要参考的是Jorge Nocedal 和 Stephen J. Wright 的 Numerical Optimization 一书（第二版）。

对偶命题的定义

考察如下的只含不等式约束的一般性优化命题：

$$\min_{x\in \mathbf R^n} f(x) \quad \text {subject to } c(x) \ge 0 \tag{1}$$ 针对这一命题的Lagrangian函数为： $$\mathcal L(x,\lambda)=f(x)-\lambda^Tc(x)$$ 其中， $\lambda \in \mathbf R^m$ 是Lagrangian乘子。

针对上面的式子，我们定义如下的对偶目标函数（dual objective function）$q$ 如下：

$$q(\lambda) := \inf _x \mathcal L(x,\lambda) \tag 2$$ 也就是针对不同的 $\lambda$ 参数确定一组 $x$ 使得 $q(\lambda)$ 最小。同时，这里我们只考虑最小值不会是 $-\infty$ 的情况。这里我们要求取的是 $\mathcal L(x,\lambda)$ 的全局最小值，但是当 $f(x)$ 为凸函数，且 $c(x)$ 为凹函数（比如线性约束）的时候， $\mathcal L(x,\lambda)$ 是凸函数，因此任何一个局部最小都是全局最小。

因此，我们可以定义命题(1)的对偶命题（Dual Problem）如下（这里 $\lambda$ 被称为对偶变量）：

$$\max_{\lambda \in \mathbf R^m} q(\lambda) \quad \text{subject to } \lambda \ge 0 \tag 3$$

对偶命题的性质

• 性质 1 （Weak Duality）
  对于任意满足(1)式中约束的 $\bar x$ 以及任意的