【最优化笔记4】线性规划--对偶理论

对偶问题（必考点），要会把原问题的对偶问题写出来，知道对偶定理，会对偶单纯形法。
每一个线性规划问题，都有一个被称为对偶的线性规划问题与它相对应，二者可以看做是对同一个问题从不同的角度所进行的分析与研究。

来吧，先从原问题写对偶问题开始。

1.对偶线性规划问题

我的理解是，只有不等式约束就是对称形式的对偶问题；有等式约束的（比如标准型）就是非对称形式的对偶问题。

1.1 对称形式的对偶问题

$$\{\begin{array}{l}minf=c^{T}x\\ s.t.Ax\ge b,\\ x\ge 0\end{array}\text{\hspace{1em}(1)}$$
问题(1)的对偶线性规划问题定义为：
$$\{\begin{array}{l}maxf=b^T\lambda \\ s.t.{\lambda }^{T}A\le c^T,\\ \lambda \ge 0\end{array}\text{\hspace{1em}(2)}$$
从原始问题（1）构成对偶问题（2）的方法是（对称形式）：

1. 交换常矢量c,b的位置，变矢量x由$\lambda$替代；
2. 改变约束不等式的等号方向
3. 把min 换成 max
4. 交换A与变矢量的位置，并按需要进行转置。

1.2 非对称形式的对偶问题

考虑标准形式的线性规划问题：$$\{\begin{array}{l}minf=c^{T}x\\ s.t.Ax=b,\\ x\ge 0\end{array}\text{\hspace{1em}(3)}$$
其可以看作一种特殊的对称形式：
$$\{\begin{array}{l}minf=c^{T}x\\ s.t.Ax\ge b,\\ -Ax\ge b,\\ x\ge 0\end{array}\text{\hspace{1em}(3′)}$$
经过推导，（3）的最终对偶线性规划问题如下：$$\{\begin{array}{l}maxf=w^{T}b\\ s.t.w^{T}A\le c^T\end{array}\text{\hspace{1em}(4)}$$（注意这里的变矢量$w$已经是自由变量了）。

综合上面的，给出对偶的一般规则

从上面可以看到，对偶问题约束条件的符号取决于原问题变矢量符号，而对偶问题的变矢量符号取决于原问题约束条件的符号。
eg:
求线性规划的对偶问题：
$$\{\begin{array}{l}minf=c^{T}x\\ s.t.Ax=b,\\ x\ge a\end{array}\text{\hspace{1em}(5)}$$
其中$a\ge 0$。
解：问题（5）的标准形如下：
$$\{\begin{array}{l}minf=c^{T}x\\ s.t.Ax=b,\\ x-x_{n+1}=a\\ x,x_{n+1}\ge 0\end{array}\text{\hspace{1em}(5′)}$$再化的更好看点：
$$\{\begin{array}{l}minf=c^{T}x\\ s.t.\left[\begin{array}{cc}A& 0\\ 1& -1\end{array}\right]\left[\begin{array}{c}x\\ x_{n+1}\end{array}\right]=\left[\begin{array}{c}b\\ a\end{array}\right],\\ \left[\begin{array}{c}x\\ x_{n+1}\end{array}\right]\ge 0\end{array}\text{\hspace{1em}(5′′)}$$
所以其对偶问题为：
$$\{\begin{array}{l}maxf=[w_1^T,w_2^T]\left[\begin{array}{c}b\\ a\end{array}\right]=w_1^{T}b+w_2^{T}a\\ s.t.[w_1^T,w_2^T]\left[\begin{array}{cc}A& 0\\ 1& -1\end{array}\right]\le [c^T,0],\\ \left[\begin{array}{c}{w}_1\\ w_2\end{array}\right]无限制\end{array}\text{\hspace{1em}(5′′′)}$$进而展开得：$$\{\begin{array}{l}maxf=w_1^{T}b+w_2^{T}a\\ s.t.w_1^{T}A+w_2^T\le c^T,\\ w_2^T\ge 0\\ w_1无限制\end{array}\text{\hspace{1em}(5′′′′)}$$over~（感觉还是用一般规则直接写快呀！）

2.对偶定理

2.1 引理1(弱对偶定理）

若$x$和$w$分别是原问题（3）和对偶问题（4）的可行解，则$c^{T}x\ge w^{T}b$。
证明：(就利用是可行解证明就好啦~）$$w^{T}b=w^T(Ax)=(w^{T}A)x\le c^{T}x$$这个引理说明原问题的任一可行解所对应的目标函数值都是对偶问题目标函数值的上界，或者说对偶问题的任一可行解对应的目标函数值是原问题目标函数值的下界。那原问题要最小，对偶问题要最大，它们相等的时候不是互相达到了吗！！！

2.2 引理1的推论

设$x^{\ast }$和$w^{\ast }$分别是原问题（3）和对偶问题（4）的可行解，且$c^{T}x=w^{T}b$，则$x^{\ast }$和$w^{\ast }$分别是原问题（3）和对偶问题（4）的最优解。（证明的话，利用引理1反正就好了）

2.3 线性规划的对偶定理（强对偶定理）

若（3）或（4）二者有一个有有限的最优解，则另一个也有有限的最优解，而且二者的（最优）目标函数数值相同。若任一个问题的目标函数值无界，则另一个问题没有可行解。

3.互补松弛定理

3.1 非对称形式的互补松弛定理

设$x,w$分别为原问题（3）和对偶问题（4）的可行解，则$x,w$分别是（3）和（4）的最优解的充要条件是：$$(w^{T}A-c^T)x=0\text{\hspace{1em}(6)}$$或者表述为：
(1) 如果$x_j>0$，就有$w^T{p}_j=c_j$
(2) 如果$w^T{p}_j<c_j$，就有$x_j=0$
其中$p_j$是$A$的第$j$列。

换句话说，咱(6)式两部分总得有个是0。

3.2 对称形式的互补松弛定理

设$x,\lambda$分别为原问题（1）和对偶问题（2）的可行解，则$x,\lambda$分别是（1）和（2）的最优解的充要条件是：$$\begin{gathered} ({\lambda }^{T}A-c^T)x=0 \\ {\lambda }^T(Ax-b)=0\text{\hspace{1em}(7)} \end{gathered}$$或者表述为：
(1) 如果$x_j>0$，就有${\lambda }^T{p}_j=c_j$
(2) 如果${\lambda }^T{p}_j<c_j$，就有$x_j=0$
(3) 如果${\lambda }_i>0$，就有$a_{i}x=b_i$
(4) 如果$a_{i}x>b_i$，就有${\lambda }_i=0$
其中$p_j$是$A$的第$j$列，$a_i$是$A$的第$i$行。
具体的证明这里不再给出，可详见陈宝林先生的《最优化理论与算法》P129。

下面重点来了哦~

4.对偶单纯形法

对偶单纯形法是什么呢？
对偶单纯形法是应用对偶原理求解原始线性规划的一种方法——在原始问题的单纯形表格上进行对偶处理。
没错，还是从原来的单纯形表出发，换一种方法求解原问题的最优解咯~
还记得当线性规划存在有限最优解，上节单纯形法停止的条件吗？没错，所有的检验数$c_B^T{B}^{-1}N-c_N\le 0\to c_B^T{B}^{-1}A-c\le 0\to w^{T}A\le A$，其中$w^T=c^T{B}^{-1}$为单纯形乘子，同时我们也看到她是对偶问题的一个可行解。
进一步来看$$w^{T}b=c_B{B}^{-1}b=c_B(B^{-1}b)=c_B{x}_b$$即原问题的目标函数值与对偶问题的函数值相同，由引理1的推论知，$x$和$w$为原问题和对偶问题的最优解，B是两问题的最优基。

定理： B是线性规划的最优基的充要条件是，B是 可行基，同时也是对偶可行基。

4.1 基本思想

从原始问题（3）的一个对偶可行的基本解开始，逐次进行迭代，在保持对偶可行性的条件下，逐步使原始问题（3）的基本解的不可行性消失（即使 $x=\overline{b}=B^{-1}b\ge 0）$，直到获得（3）的一个基本可行解为止，而它即为原始问题的最优解。
单纯形法的求解过程就是：
在保持原始可行的前提下（$\overline{b}$列保持≥0），通过逐步迭代实现对偶可行（检验数行≤0）。
对偶单纯形法思想：
换个角度考虑LP求解过程： 保持对偶可行的前提下(检验数行保持≤0), 逐步迭代实现原始可行($\overline{b}$列≥0)。

4.2 使用条件

(1) 检验数全部$\le 0$
(2) 解答列至少一个$\overline{b}<0$

4.3 计算步骤

Step1：建立单纯形表，计算检验数行（检验数≤0）。

1. 若解答列$\overline{b}\ge 0$，已经得到最优解。
2. 至少一个$\overline{b}<0$, 转下一步。

Step2：确定出基变量（主元行$r$）
对偶对偶，你单纯形法要根据检验数最大的确定主元列作为进基变量，那我对偶单纯形法就根据最小的$\overline{b_i}$先确定主元行作为出基变量。
先确定换出变量—解答列$\overline{b}$中的负元素(一般选最小的负元素)对应的基变量出基，即 m i n i { b i ‾ = ( B − 1 b ) i ∣   b i ‾ < 0 } = b r ‾ min_{i} \lbrace\overline{b_i}=(B^{-1}b)_i | \,\overline{b_i}<0 \rbrace=\overline{b_r} mini​{bi​​=(B−1b)i​∣bi​​<0}=br​​相应的行为主元行, 记主元行为$r$，$x_r$即为出基变量，。

Step3: 确定入基变量（主元列$k$）
原则是：在保持对偶可行的前提下，减少原始问题的不可行性（那最起码得取$\overline{b_i}<0$），实际上和单纯形法很像了，也是比值最小原则： m i n j { z j − c j y r j ∣   y r j < 0 } = z k − c k y r k min_{j} \lbrace \frac{z_j-c_j}{y_{rj}}|\,y_{rj}<0 \rbrace=\frac{z_k-c_k}{y_{rk}} minj​{yrj​zj​−cj​​∣yrj​<0}=yrk​zk​−ck​​主元列记为$k$，$x_k$即为进基变量。

Step4：按主元素$y_{rk}$进行初等行变换，使得主元素变成1，主元列变成单位向量，得到新的单纯形表。
继续上述步骤，直至求出最优解。

算例就不举啦，还有好多要复习的嘛~，本节完。