最优化学习笔记（十）——对偶线性规划

一、对偶问题

    每个线性规划问题都有一个与之对应的对偶问题。对偶问题是以原问题的约束条件和目标函数为基础构造而来的。对偶问题也是一个线性规划问题，因此可以采用单纯形法（有关单纯形法会在以后的笔记中补充）求解。对偶问题的最优解也可以通过原问题的最优解得到，反之亦然。而且，在某些情况下，利用对偶理论求解线性规划问题更为简单，而且有助于深入了解待求问题的本质。

二、对偶问题的定义与表述

    考虑如下形式的线性规划问题：

$$\min \quad \boldsymbol{c}^T\boldsymbol{x} \\ st. \quad \boldsymbol{Ax} \ge \boldsymbol{b}\\ \boldsymbol{x} \ge \boldsymbol{0}$$
该问题称为原问题，其相应的对偶问题定义为：
$$\max \quad \boldsymbol{\lambda}^T\boldsymbol{b}\\ st.\quad \boldsymbol{\lambda}^T\boldsymbol{A} \le \boldsymbol{c}^T\\ \boldsymbol{\lambda} \ge \boldsymbol{0}$$
其中， $\boldsymbol{\lambda} \in \mathbb{R}^m$是对偶向量。在原问题和对偶问题中， $\boldsymbol{b}和 \boldsymbol{c}$的作用是互逆的，这种对偶称为对称形式的对偶。

    为了定义任意线性规划问题的对偶问题，可首先将给定的线性规划问题转换为与上述原问题结构形式相同的等价问题；然后，根据对称形式的对偶，得到等价问题的对偶。

三、证明对偶问题的对偶是原问题

     将对偶问题表示为：

$$\min \quad \boldsymbol{\lambda}^T(-\boldsymbol{b})\\ st. \quad \boldsymbol{\lambda}^T(-\boldsymbol{A}) \ge (-\boldsymbol{c}^T)\\ \boldsymbol{\lambda} \ge \boldsymbol{0}$$
则上述问题的等价于：(将上式两端同时转置)
$$\min \quad (-\boldsymbol{b}^T)\boldsymbol{\lambda}\\ st. \quad (-\boldsymbol{A}^T)\boldsymbol{\lambda} \le -\boldsymbol{c}\\ \boldsymbol{\lambda} \ge \boldsymbol{0}$$
则上式的对偶问题为：( $\boldsymbol{x}$等价于对偶定义的 $\boldsymbol{\lambda}$)
$$\max \quad \boldsymbol{x}^T(\boldsymbol{-c})\\ st. \quad \boldsymbol{x}^T(-\boldsymbol{A})^T \le -\boldsymbol{b} ^T\\ \boldsymbol{x} \ge \boldsymbol{0}$$
对上式取转置：
$$\max \quad (-\boldsymbol{c}^T)\boldsymbol{x}\\ st. \quad (-\boldsymbol{A})\boldsymbol{x} \le -\boldsymbol{b} \\ \boldsymbol{x} \ge \boldsymbol{0}$$
整理后，就可以得到原问题。

四、线性规划问题的标准型

     线性规划问题的标准型约束为$\boldsymbol{Ax=b}$,为了构造相应的对偶问题，首先将上述等式变换为不等式：

$$\boldsymbol{Ax \ge b}\\ \boldsymbol{Ax \le b} \Rightarrow \boldsymbol{- Ax \ge -b}$$
那么，带有等式的原问题可以写为：
$$\min \quad \boldsymbol{c}^T\boldsymbol{x}\\ st. \quad \boldsymbol{Ax} \ge \boldsymbol{b}\\ \boldsymbol{- Ax \ge -b}\\ \boldsymbol{x} \ge \boldsymbol{0}$$
上式的对偶问题可以整理为：
$$\max \quad \boldsymbol{\lambda}^T\boldsymbol{b}\\ st. \quad \boldsymbol{\lambda}^T\boldsymbol{A}\le \boldsymbol{c}^T$$
这种对偶关系称为非对称形式的对偶。

原问题	对偶问题
$\min \quad \boldsymbol{c}^T\boldsymbol{x}$	$\max \quad \boldsymbol{\lambda}^T\boldsymbol{b}$
$st.\quad \boldsymbol{Ax} \ge \boldsymbol{b}\\ \quad \quad\quad\boldsymbol{x} \ge \boldsymbol{0}$	$st.\quad \boldsymbol{\lambda}^T\boldsymbol{A} \le \boldsymbol{c}^T\\\quad\quad\quad\quad\boldsymbol{\lambda} \ge \boldsymbol{0}$

                       表1 对称形式对偶关系

原问题	对偶问题
$\min \quad \boldsymbol{c}^T\boldsymbol{x}$	$\max \quad \boldsymbol{\lambda}^T\boldsymbol{b}$
$st. \quad \boldsymbol{Ax} = \boldsymbol{b}\\\quad\quad\quad\boldsymbol{x} \ge \boldsymbol{0}$	$st. \quad \boldsymbol{\lambda}^T\boldsymbol{A}\le \boldsymbol{c}^T$

                        表2 非对称形式对偶关系

五、构造任意线性规划问题的对偶问题

1. 将原问题转换为与之等价的对称形式对偶关系中的原问题。
2. 参照对称形式对偶关系就可得到对偶问题，整理后可得到非对称形式的对偶问题。