线性规划技巧: 如何写对偶问题

给定一个优化问题，我们去理解它的时候，或者设计算法的时候，可以研究它的对偶。

有时候原问题不好解，但它的对偶相对容易。这个时候，可以从对偶问题出发，进而寻求原问题的解。

这篇文章总结了线性规划的对偶形式。按照这个思路，可以方便地写对偶。

基本形式

考虑线性规划问题的标准型。如下所示，其中 $A\in {\mathbb{R}}^{m\times n},c,b,x\in {\mathbb{R}}^n$。
$$\begin{array}{rl}\min & c^{T}x\\ \text{s.t. }& Ax\ge b\\ & x\ge 0.\end{array}$$
它的对偶问题如下，其中 $y\in {\mathbb{R}}^m$ 是决策变量。
$$\begin{array}{rl}\max & b^{T}y\\ \text{s.t. }& A^{T}y\le c\\ & y\ge 0.\end{array}$$
对比两者的形式，注意下面几点：

1. 优化方向： $\min \to \max$
2. 约束方向： “$\ge$” $\to$ “$\le$”
3. 参数位置：$b$ 和 $c$ 位置互换。

值得注意的是，线性规划的标准型一般写成等式约束形式（如下所示）。
$$\begin{array}{rl}\min & c^{T}x\\ \text{s.t. }& Ax=b\\ & x\ge 0.\end{array}$$
它的对偶问题，是下面这个样子。
$$\begin{array}{rl}\max & b^{T}y\\ \text{s.t. }& A^{T}y\le c\end{array}$$
注意到变化了吗？跟之前的形式相比，上式中对偶变量的非负约束 $y\ge 0$ 不见了。

手写对偶

前面介绍了线性规划的标准型（两种形式），以及相应的对偶问题。下面讲手写对偶问题的思路。

第一步，定义对偶变量。一个约束对应一个变量（忽略非负约束）。

第二步，约束乘以变量。然后得到对偶问题的目标。

第三步，再得到对偶问题的约束。

第四步，得到结果。

示例

例1，写出它的对偶问题。

$$\begin{array}{rlr}\min & c^{T}x& \\ \text{s.t. }& Ax\ge b& \to \alpha \\ & Bx=d& \to \beta \\ & x\ge 0& \end{array}$$

例2，考虑非矩阵形式。

$$\begin{array}{rl}\min & -50x_1+20x_2\\ \text{s.t. }& 2x_1-x_2\ge -5\\ & 3x_1+x_2\ge 3\\ & 2x_1-3x_2\le 12\\ & x_1,x_2\ge 0\end{array}$$
注意第三个不等式，它的方向是小于等于。可以先写成大于等于，然后再写它的对偶。

练习

给两道练习题，请试着写出它们的对偶。

第一题

其中 $x_{i,j},y_i$ 是决策变量，且常量非负。
$$\begin{array}{rlr}\min & \sum _{i=1}^m\sum _{j=1}^n{c}_{i,j}{x}_{i,j}+\sum _{i=1}^m{f}_i{y}_i& \\ \text{ s.t. }& \sum _{i=1}^m{x}_{i,j}=1,\forall j& \to {\alpha }_j\\ & x_{i,j}\le y_i,\forall i,j& \to {\beta }_{i,j}\\ & x_{i,j}\ge 0,y_i\ge 0,\forall i,j& \end{array}$$

它的对偶如下。
$$\begin{array}{rl}\max & \sum _{j=1}^n{\alpha }_j\\ \text{ s.t. }& {\alpha }_j-{\beta }_{i,j}\le c_{i,j},\forall i,j\\ & {\beta }_{i,j}\le f_i,\forall i,j\\ & {\beta }_{i,j}\ge 0,\forall i,j\end{array}$$

第二题

其中 $x_{i,j}$ 是决策变量，且常量非负。
$$\begin{array}{rlr}\min & \sum _{i=1}^n\sum _{j=1}^n{l}_{i,j}{x}_{i,j}& \\ \text{s.t. }& \sum _{j=1}^n{x}_{i,j}-\sum _{j=1}^n{x}_{j,i}=0,\forall i\ne 1,n& \to y_i\\ & \sum _{j=1}^n{x}_{1,j}-\sum _{j=1}^n{x}_{j,1}=1& \to y_1\\ & \sum _{j=1}^n{x}_{n,j}-\sum _{j=1}^n{x}_{j,n}=-1& \to y_n\\ & x_{i,j}\ge 0,\forall i,j& \end{array}$$

它的对偶如下。
$$\begin{array}{rl}\max & y_1-y_n\\ \text{s.t. }& y_i-y_j\le l_{i,j},\forall i,j=1,2,...,n.\end{array}$$

这一题算对偶约束有些麻烦，我解释一下。

思路是这样的，约束乘对偶变量之后，要计算 $x_{i,j}$的系数之和，记作 $f_{ij}(y)$，然后得到对偶问题的约束 $f_{ij}(y)\le l_{ij}$，$\forall i,j=1,2,...,n$。

下面是详细的计算过程。

先看第一组约束:
$$\sum _{j=1}^n{y}_i\cdot x_{i,j}-\sum _{j=1}^n{y}_i\cdot x_{j,i}=0.(a)$$
其中 $i=2,3,...,n-1$。

先算 $i,j\ne 1,n$ 时 $x_{i,j}$ 的系数。

看 $(a)$ 的第一项，$x_{i,j}$ 的系数是 $y_i$。这还没完，因为其他地方会出现 $x_{i,j}$。看 $(a)$ 的第二项，当 $i,j$ 的值交换时，第二项中 $x_{i,j}$ 的系数是 $-y_j$。

以 $x_{2,3}$ 为例， 它的系数之和由两项组成，一个是 $y_2$，来自约束 $i=2$ 中的第一部分 $y_i\cdot x_{i,j}$，其中 $i=2,j=3$ ；

另一个是 $-y_3$，来自不等式 $i=3$ 中的第二部分 $y_i\cdot x_{j,i}$，其中 $i=3,j=2$。

这样一来， $x_{i,j}$ 的系数之和为
$$f_{i,j}(y)=y_i-y_j,\forall i,j\ne 1,n.$$

接下来还有三种情况要考虑，分别是：

(1) $i=1;j=1,...,n$

(2) $i=n;j=1,...,n$

(3) $i=2,...,n;j=1,n$

再结合第二组和第三组约束：
$$\begin{array}{rl}\sum _{j=1}^n{y}_1\cdot x_{1,j}-\sum _{j=1}^n{y}_1\cdot x_{j,1}=y_1& (b)\\ \sum _{j=1}^n{y}_n\cdot x_{n,j}-\sum _{j=1}^n{y}_n\cdot x_{j,n}=-y_n& (c)\end{array}$$

分别考虑上述三种情况：

(1) $i=1;j=1,...,n$

观察 $(b)$，得到 $f_{1,1}(y)=y_1-y_1=0$。

结合 $(b),(c)$，看 $(b)$ 第一项和 $(c)$ 第二项，得到 $f_{1,n}(y)=y_1-y_n$。

结合 $(b),(a)$，看 $(b)$ 第一项和 $(a)$ 第二项，得到 $f_{1,j}(y)=y_1-y_j$，其中 $j=2,...,n-1$。

我们有
$$f_{1,j}(y)=y_1-y_j,j=1,...,n.$$

(2) $i=n;j=1,...,n$

结合 $(c),(b)$，看 $(c)$ 第一项和 $(b)$ 第二项，得到 $f_{n,1}(y)=y_n-y_1$。

观察 $(c)$，得到 $f_{n,n}(y)=y_n-y_n=0$。

结合 $(c),(a)$，看 $(c)$ 第一项和 $(a)$ 第二项，得到 $f_{n,j}(y)=y_n-y_j$，其中 $j=2,...,n-1$。

我们有
$$f_{n,j}(y)=y_n-y_j,j=1,...,n.$$

(3) $i=2,...,n;j=1,n$

结合 $(a),(b)$，看 $(a)$ 第一项和 $(b)$ 第二项，得到 $f_{i,1}(y)=y_i-y_1$。

结合 $(a),(c)$，看 $(a)$ 第一项和 $(c)$ 第二项，得到 $f_{i,n}(y)=y_i-y_n$。

我们有
$$\begin{array}{r}{f}_{i,1}(y)=y_i-y_1,i=2,...,n\\ f_{i,n}(y)=y_i-y_n,i=2,...,n\end{array}$$

综合 (1) (2) (3) 三种情况，我们得到
$$f_{i,j}(y)=y_i-y_j,i=1,...,n,j=1,...,n.$$

这样一来，得到对偶问题的约束
$$y_i-y_j\le l_{i,j}i=1,...,n,j=1,...,n.$$

从这两个练习题，我们还可以看到，它们的对偶问题，形式上比原问题更简单。所以说设计算法的时候，对偶是个好工具。

在线性规划中，对偶的对偶，就是原问题。这两个习题还可以再做一次，把对偶当作原问题，然后再写一次对偶，得到之前的原问题。