线性规划——对偶问题的推导

原问题

$$\begin{gathered} \underset{x}{\min }{c}^{T}x \\ s.t.Ax=b \\ x\ge 0\text{\hspace{1em}(1)} \end{gathered}$$

对偶问题

$$\begin{gathered} \underset{y}{\max }{b}^{T}y \\ s.t.A^{T}y+s=c \\ s\ge 0\text{\hspace{1em}(2)} \end{gathered}$$
$A\in {\mathbb{R}}^{m\times n},x\in {\mathbb{R}}^n,s\in {\mathbb{R}}^n,y\in {\mathbb{R}}^m$

---

推导

引入拉格朗日函数:$$L(x,\lambda ,\mu )=c^{T}x+{\lambda }^T(Ax-b)-{\mu }^{T}x$$要求 $\mu >0$，$\lambda$随意。容易验证：$$\underset{\lambda ,\mu }{\sup }L(x,\lambda ,\mu )=c^{T}x$$因而原问题就等价于：$$\underset{x\in D}{\inf }\underset{\lambda ,\mu }{\sup }L(x,\lambda ,\mu ),\text{\hspace{1em}(P)}$$其中可行域 D = { x ∣ A x = b , x ≥ 0 } D=\{x| Ax=b, x \geq 0\} D={x∣Ax=b,x≥0}。下面我们构造对偶问题：
$$\underset{\lambda ,\mu }{\sup }\underset{x}{\inf }L(x,\lambda ,\mu ).\text{\hspace{1em}(D)}$$
先对 x 取下界：
$$\begin{gathered} \underset{x}{\inf }L(x,\lambda ,\mu ) \\ =-{\lambda }^{T}b+\underset{x}{\inf }(c+A^T\lambda -\mu {)}^{T}x \\ =\{\begin{array}{lr}-{\lambda }^{T}b,c+A^T\lambda -\mu =0& \\ -\infty ,otherwise& \end{array} \end{gathered}$$
显而易见，对偶问题 (D) 值有当 $c+A^T\lambda -\mu =0$ 时才有意义。所以对偶问题写成：$$\begin{gathered} \underset{\lambda }{\max }-b^T\lambda \\ s.t.A^T\lambda -\mu +c=0 \\ \mu \ge 0 \end{gathered}$$令 $y=-\lambda ,s=\mu$ 即变成问题 (2)。