线性规划的对偶问题与对偶单纯形

1. 线性规划的对偶问题

1.1 对偶变量的含义与约束

1. 原始问题的每个主约束都对应一个对偶变量，每个对偶变量表示其对应的主约束RHS系数每增加一个单位，原始问题最优值的变化量。因此对偶变量反映了原始问题对主约束参数的灵敏度。

在建立对偶问题时，需要给对偶变量添加范围约束。对偶变量的符号也就代表了最优值变化量的正负，例如对于最小化问题，“$\le$”约束的RHS系数增大是放松约束，最优值会更小或不变，因此其对偶变量的约束为“$\le 0$”。每种情况下对偶变量$v_i$的范围约束如下所示：

原始模型	约束方向是“$\le$”	约束方向是“$\ge$”	约束方向是“$=$”
	放松	缩紧
最小化问题	$v_i\le 0$	$v_i\ge 0$	无约束
最大化问题	$v_i\ge 0$	$v_i\le 0$	无约束

2. 紧约束条件下的对偶变量给出了原始模型中的资源边际价格或隐含价值。

解释：在最小化成本的问题中，提高需求约束“$\ge$”紧约束的RHS系数，对偶变量指示成本的增加量，即最后这一个单位需求的价格；提高供给约束“$\le$”紧约束的RHS系数，对偶变量指示成本的减少量，即这最后一个单位供给量的隐含价值。

1.2 主对偶约束

对最小化线性规划问题，即目标为成本最小，中的每个非负变量$x_j$，存在一个主对偶约束${\sum }_i{a}_{i,j}{v}_i\le c_j$，限制一个活动的净边际收益小于等于既定成本；对于最大化问题的非负变量，主对偶约束${\sum }_i{a}_{i,j}{v}_i\ge c_j$，限制一个活动的净边际成本不小于既定利润。

其中，$a_{i,j}$是约束矩阵中的系数，$c_j$表示目标函数中变量$x_j$的系数。

用对偶变量代表资源的边际价格这一关系来理解主对偶约束。

对于最大化问题，参考（(5 封私信 / 3 条消息) 为什么我们要考虑线性规划的对偶问题？ - 知乎 (zhihu.com)）。

对于最小化问题的对偶问题的物理含义待补充。。。

1.3 对偶问题

基于上述对偶变量和主对偶约束的条件，最小化问题的原问题与对偶问题对应关系如下：
$$\begin{array}{rl}\min & {\mathbf{c}}^T\mathbf{x}\max {\mathbf{b}}^T\mathbf{v}\\ s.t.& \mathbf{Ax}\left\{\begin{array}{c}\le \\ \ge \\ =\end{array}\right\}\mathbf{b}\Rightarrow s.t.\sum _i{a}_{ij}{v}_i\left\{\begin{array}{c}\le \\ \ge \\ =\end{array}\right\}{c}_j\\ & x_j\left\{\begin{array}{c}\ge 0\\ \le 0\\ 无约束\end{array}\right\}\mathbf{v}\left\{\begin{array}{c}\le 0\\ \ge 0\\ 无约束\end{array}\right\}\end{array}$$
最小化问题中对偶变量的符号方向与其对应的约束方向相同，主对偶约束的符号与原问题变量的符号方向相反。

对应的，最大化问题的原问题与对偶问题的对应关系如下：
$$\begin{array}{rl}\max & {\mathbf{c}}^T\mathbf{x}\min {\mathbf{b}}^T\mathbf{v}\\ s.t.& \mathbf{Ax}\left\{\begin{array}{c}\le \\ \ge \\ =\end{array}\right\}\mathbf{b}\Rightarrow s.t.\sum _i{a}_{ij}{v}_i\left\{\begin{array}{c}\ge \\ \le \\ =\end{array}\right\}{c}_j\\ & x_j\left\{\begin{array}{c}\ge 0\\ \le 0\\ 无约束\end{array}\right\}\mathbf{v}\left\{\begin{array}{c}\ge 0\\ \le 0\\ 无约束\end{array}\right\}\end{array}$$
最大化问题中对偶变量的符号方向与其对应的约束方向相反，主对偶约束的符号与原问题变量的符号方向相同。

1. 弱对偶性：最小化问题的目标函数的值总是$\ge$其对偶问题的目标函数值，最大化问题反之，因此对偶问题给出了原始问题目标值的一个界；
2. 强对偶性：在最优解处，原始问题与对偶问题的目标函数值相等；
3. 若原始问题或对偶问题无界，那么其对应的对偶问题或原始问题必然无解。

1.4 互补松弛性与KKT条件

互补松弛：在最优解的情况下，非紧约束所对应的对偶变量为0.

考虑如下标准型：
$$\begin{array}{rl}\min & {\mathbf{c}}^T\mathbf{x}\max {\mathbf{b}}^T\mathbf{v}\\ s.t.& \mathbf{Ax}=\mathbf{b}\Rightarrow s.t.{\mathbf{A}}^T\mathbf{v}\le \mathbf{c}\\ & \mathbf{x}\ge 0\mathbf{v}无约束\end{array}$$
其KKT条件为：
$$\begin{array}{rl}原问题约束：& \mathbf{Ax}=\mathbf{b},\mathbf{x}\ge 0\\ 对偶问题约束：& {\mathbf{A}}^T\mathbf{v}\le \mathbf{c}\\ 互补松弛：& (\mathbf{c}-{\mathbf{A}}^T\mathbf{v}{)}^T\mathbf{x}=0\end{array}$$

KKT条件是线性规划达到最优的充分必要条件。

1.5 原始单纯形法与KKT条件的关系

原始单纯形法是保持原始问题可行性和互补松弛性，寻找使得对偶问题可行的解。

解释：线性规划标准型可以根据基变量和非基变量分块，原问题和对偶问题如下：
$$\begin{array}{rl}\min & ({\mathbf{c}}^B{)}^T{\mathbf{x}}^B+({\mathbf{c}}^N{)}^T{\mathbf{x}}^N\max {\mathbf{b}}^T\mathbf{v}\\ s.t.& {\mathbf{Bx}}^B+{\mathbf{Nx}}^N=\mathbf{b}\Rightarrow s.t.{\mathbf{B}}^T\mathbf{v}\le {\mathbf{c}}^B\\ & {\mathbf{N}}^T\mathbf{v}\le {\mathbf{c}}^N\\ & {\mathbf{x}}^B\ge 0,{\mathbf{x}}^N\ge 0\mathbf{v}无约束\end{array}$$

则KKT条件可以写成：
$$\begin{array}{rl}原问题约束：& {\mathbf{Bx}}^B+{\mathbf{Nx}}^N=\mathbf{b},\\ & {\mathbf{x}}^B\ge 0,{\mathbf{x}}^N\ge 0\\ 对偶问题约束：& {\mathbf{B}}^T\mathbf{v}\le {\mathbf{c}}^B,\\ & {\mathbf{N}}^T\mathbf{v}\le {\mathbf{c}}^N\\ 互补松弛：& ({\mathbf{c}}^B-{\mathbf{B}}^T\mathbf{v}{)}^T{\mathbf{x}}^B=0\\ & ({\mathbf{c}}^N-{\mathbf{N}}^T\mathbf{v}{)}^T{\mathbf{x}}^N=0\end{array}$$

首先回顾单纯形的求解过程。

1. 在单纯形求解时，一个基本可行解中非基变量${\mathbf{x}}^N=0$，根据原问题可行性（1）可得基变量的值为${\mathbf{x}}^B={\mathbf{B}}^{-1}\mathbf{b}$，目标函数值为$({\mathbf{c}}^B{)}^T{\mathbf{B}}^{-1}\mathbf{b}$。这里保证了原问题可行性不变。
2. 接着计算单纯形方向。令一个非基变量$x_j=1$，$a_j$是其约束系数向量，有$a_j+\mathbf{B}\Delta {\mathbf{x}}^B=0$，解出基变量的方向为$\Delta {\mathbf{x}}^B=-{\mathbf{B}}^{-1}{a}_j$。
3. 然后考察目标值的变化情况。$\Delta f={\mathbf{c}}^T\Delta \mathbf{x}=c_j+({\mathbf{c}}^B{)}^T\Delta {\mathbf{x}}^B=c_j-({\mathbf{c}}^B{)}^T{\mathbf{B}}^{-1}{a}_j$。对于最小化（最大化）问题，要找到使得$\Delta f<0（\Delta f>0）$的非基变量。换句话说，如果最小化（最大化）问题中对所有非基变量有$\Delta f\ge 0（\Delta f\le 0）$，则说明目标值不能继续改进，已找到最优解。

上述求解过程中原问题可行性显而易见，现在我们考察对偶可行性和互补松弛性的体现。在互补松弛性中，${\mathbf{x}}^N=0$使得（6）自然满足，在（5）中，由于${\mathbf{x}}^B\ne 0$，因此令${\mathbf{c}}^B-{\mathbf{B}}^T\mathbf{v}=0$可得$\mathbf{v}=({\mathbf{B}}^T{)}^{-1}{\mathbf{c}}^B$，这时对偶可行性（3）自然满足。将其代入$\Delta f$可得$\Delta f=c_j-{\mathbf{v}}^T{a}_j$，进行向量堆叠可以发现与对偶可行性约束的形式相同：${\mathbf{c}}^N-{\mathbf{N}}^T\mathbf{v}$。因此原始单纯形考察目标函数的改进，实际上就是考察对偶可行性，因为如果当前基本解对偶可行，即最小化问题中满足${\mathbf{c}}^N-{\mathbf{N}}^T\mathbf{v}\ge 0$，那么说明达到最优解，否则还可以继续迭代！

上述推导过程中，$\mathbf{v}=({\mathbf{B}}^T{)}^{-1}{\mathbf{c}}^B$称为系数矩阵$\mathbf{B}$的对偶基本解。

2. 对偶单纯形法

基本思想：

1. 从对偶可行解开始搜索并始终保持对偶可行；
2. 每个对偶解都对应满足互补松弛性的原始基本解；
3. 当检测到对偶无界或当前解原始可行时终止，前者说明原始问题无解，后者说明达到最优。

优势：1. 对偶变量往往少于原始变量，2. 在原问题标准形式下，对偶变量无符号约束。
迭代步骤：

1. 初始化。将原始问题标准化并写出对偶问题，找到一组对偶可行基，写出基矩阵$\mathbf{B}$和非基矩阵$\mathbf{N}$，非基变量${\mathbf{x}}^N=0$，通过原始可行性${\mathbf{Bx}}^B=\mathbf{b}$解出基变量${\mathbf{x}}^B={\mathbf{B}}^{-1}\mathbf{b}$（注意这里不要求基变量满足原始问题可行性中的符号约束，也就是存在基变量$<0$），并根据互补松弛性得到对偶基本解$\mathbf{v}=({\mathbf{B}}^T{)}^{-1}{\mathbf{c}}^B$；
2. 检验最优性。如果满足${\mathbf{x}}^B\ge 0$，说明原问题可行，达到最优解，此时${\mathbf{c}}^T\mathbf{x}={\mathbf{b}}^T\mathbf{v}$。否则选择最小的$<0$的基变量$x_r$出基，在列向量$\mathbf{x}$中对应的行号是$r$。
3. 对偶单纯形变化方向。记${\mathbf{r}}^T$为${\mathbf{B}}^{-1}$的第$r$行，那么对偶变量的变化方向为$\Delta \mathbf{v}=\pm \mathbf{r}$（最大化原始问题为$+$，最小化原始问题为$-$）。
   以最小化原始问题为例，对偶问题的目标值变化为${\mathbf{b}}^T\Delta \mathbf{v}=-{\mathbf{b}}^T\mathbf{r}=-{\mathbf{r}}^T\mathbf{b}=-x_r>0$，因此$-\mathbf{r}$是对偶问题目标优化的方向。
4. 步长大小。接着确定步长$\beta$，新的对偶变量为$\hat{\mathbf{v}}=\bar{\mathbf{v}}+\beta \Delta \mathbf{v}$。因为要保证对偶可行性，所以考察式(3)(4)。
   同样以标准型为例，对(3)，${\hat{\mathbf{z}}}^B={\mathbf{c}}^B-{\mathbf{B}}^T\hat{\mathbf{v}}=-\beta {\mathbf{B}}^T\Delta \mathbf{v}=\beta {\mathbf{B}}^T\mathbf{r}$，根据${\mathbf{r}}^T$为${\mathbf{B}}^{-1}$的第$r$行可知${\hat{\mathbf{z}}}^B\ge 0$，满足条件；
   对(4)，${\hat{\mathbf{z}}}^N={\mathbf{c}}^N-{\mathbf{N}}^T\hat{\mathbf{v}}={\bar{\mathbf{z}}}^N-\beta {\mathbf{N}}^T\Delta \mathbf{v}$，记$\Delta {\mathbf{c}}^N={\mathbf{N}}^T\Delta \mathbf{v}$。
   若$\Delta {\mathbf{c}}^N\le 0$，即${\hat{\mathbf{z}}}^N\ge 0$始终成立，那么无论$\beta$怎么变化，对偶可行始终成立，也就是说对偶目标可以一直被优化，对偶变量无界，说明原问题无解；
   若$\Delta {\mathbf{c}}^N$有元素为正数，那么可以计算步长 β = min ⁡ { z ˉ p N / ( − Δ c p N ) , Δ c p N > 0 } \beta=\min\{\bar{z}_p^N/(-\Delta {c}_p^N),\Delta {c}_p^N>0\} β=min{zˉpN​/(−ΔcpN​),ΔcpN​>0}。
5. 最后更新基变量和解。

参考文献

1. 本文为运筹学（原书第2版）阅读笔记
2. 对偶单纯形法的部分解释参考华为云博客