线性规划-单纯形法

Linear Programming问题的数学模型：

使用简单的符号变换，引入松弛变量，将约束变为等式形式，LP问题的标准形式可写作：
$$\begin{array}{rl}\max & z=\sum _{j=1}^n{c}_j{x}_j\\ \text{ s.t. }& \{\begin{array}{l}{\sum }_{j=1}^n{a}_{ij}{x}_j=b_i,(i=1,2,\dots ,m)\\ x_j\ge 0,(j=1,2,\dots ,n)\end{array}\end{array}$$
或
$$\begin{array}{rl}\max & z={\mathbf{c}}^T\mathbf{x}\\ \text{ s.t. }& \{\begin{array}{l}\mathbf{Ax}=\mathbf{b}\\ \mathbf{x}\ge 0\end{array}\end{array}$$

LP问题相应术语：

• 超平面 (hyperplane):
  约束方程任一等式约東: ${\mathbf{a}}_i\mathbf{x}=b_i$, 称 H i = { x ∣ a i x = b i } \mathscr{H}_i=\left\{\mathbf{x} \mid \mathbf{a}_i \mathbf{x}=b_i\right\} Hi​={x∣ai​x=bi​} 为超平面 (hyperplane), 其中 $\mathbf{a}$为决定平面的法线.
  超平面 ${\mathcal{H}}_i$ 将空间 ${\mathbb{R}}^n$ 分成三个部分: $\left({\mathbf{a}}_i\mathbf{x}=b_i\right)$
  $$\begin{array}{rll}{\mathcal{H}}_i^U\text{ (开): }& {\mathbf{a}}_i\mathbf{x}>b_i& \text{ 上半空间 (Upper halfspace) }\\ {\mathcal{H}}_i:& {\mathbf{a}}_i\mathbf{x}=b_i& \text{ 超平面 (hyperplane) }\\ {\mathcal{H}}_i^L(\text{ 开)： }& {\mathbf{a}}_i\mathbf{x}<b_i& \text{ 下半空间 (Lower halfspace) }\end{array}$$

• LP问题解的可能情况：
  唯一解；无穷多解；无界解；无解

• LP问题一些解的概念：
  可行解：标准形式的线性规划问题中, 凡满足所有约束条件的解 $\mathbf{x}$ 称为问题的可行解，将这些可行解构成的集合称为可行解集或可行域.
  基：约束方程的矩阵形式中, 等式约束所对应的系数矩阵 $\mathbf{A}$ 中线性独立的列向量称为基.
  $$\left[\begin{array}{lll}1& 0& 1\\ 0& 1& 1\\ 0& 0& 0\end{array}\right]\left[\begin{array}{l}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{l}{b}_1\\ b_2\\ b_3\end{array}\right]$$
  此时前两列可以被视作基；
  基变量：约束方程的矩阵形式中，系数矩阵的列向量与变量一一对应. 当取定基以后, 与基对应的决策变量称为基变量, 其它的决策变量称为非基变量.
  对上式而言，$x_1$与$x_2$为基变量，$x_3$为非基变量；
  基解：令非基变量全部取零,由等式约束解出的基变量的唯一解, 称为基解.
  基可行解：满足非负约束的基解称为基可行解.
  可行基：对应基可行解的基称为可行基.
  上述概念的包含关系如下：
  

• 上述概念In Depth：
  设矩阵 $\mathbf{A}$ 的秩为 $m$, 又假设 $\mathbf{A}=[\mathbf{B},\mathbf{N}]$, 其中 $\mathbf{B}$ 是 $m$ 阶可逆矩阵. 如果 $\mathbf{A}$ 的前 $m$ 列是线性相关的, 可以通过列调换, 使前 $m$ 列成为线性无关的, 因此关于 $\mathbf{B}$ 可逆的假设不失一般性. 同时记作
  $$x=\left[\begin{array}{l}{x}_B\\ x_N\end{array}\right]$$
  故等式约束可进一步写为：
  $$\begin{array}{rl}& [\mathbf{B},\mathbf{N}]\left[\begin{array}{l}{x}_B\\ x_N\end{array}\right]=b,\\ & \mathbf{B}{x}_B+\mathbf{N}{x}_N=b,\\ & {\mathbf{x}}_{\mathbf{B}}={\mathbf{B}}^{-1}b-{\mathbf{B}}^{-1}\mathbf{N}{x}_N.\end{array}$$
  进一步地，令$x_N=0$，得到的
  $$\mathbf{x}=\left[\begin{array}{l}{x}_B\\ x_N\end{array}\right]=\left[\begin{array}{c}{B}^{-1}b\\ 0\end{array}\right]$$
  即称为基解，$\mathbf{B}$ 称为基矩阵，简称为基. $x_B$ 的各分量称为基变量（$x_B$可逆），基变量的全体 $x_{B_1},x_{B_2},\cdots ,x_{B_m}$ 称为一组基。$x_N$ 的各分量称为非基变量.
  更进一步地，若$${\mathbf{B}}^{-1}b⩾0$$，则为基可行解，$\mathbf{B}$ 为可行基矩阵，$x_{B_1},x_{B_2},\cdots ,x_{B_m}$ 为一组可行基。

• 一般地, 当 $\mathbf{A}$ 是 $m\times n$ 矩阵, $\mathbf{A}$ 的秩为 $m$ 时, 基本可行解的个数不会超过
  $$\left(\genfrac{}{}{0ex}{}{n}{m}\right)=\frac{n!}{m!(n-m)!}.$$

LP问题的性质：

极点：$\mathbf{x}\in \mathcal{D}$ 且 $\mathbf{x}={\left[{\mathbf{x}}_B^T,{\mathbf{x}}_N^T\right]}^T$，其中 ${\mathbf{x}}_B$ 为基可行解， ${\mathbf{x}}_N=0$

• 定理：令 K = { x ∣ A x = b , x ⩾ 0 } , A K=\{\boldsymbol{x} \mid \boldsymbol{A} \boldsymbol{x}=\boldsymbol{b}, \boldsymbol{x} \geqslant 0\}, \boldsymbol{A} K={x∣Ax=b,x⩾0},A是 $m\times n$ 矩阵, $\mathbf{A}$ 的秩为 $m$, 则 $K$ 的极点集与 $Ax=b,x⩾0$ 的基本可行解集等价.

单纯形法理论基础：

• 线性规划问题的可行域是凸集.
• 线性规划问题的基可行解是可行域 (凸集) 的顶点.
• 线性规划问题若存在最优解, 则一定存在一个基可行解是最优解.
• 故总体思路为：通过迭代求解：从初始的某个基可行解开始,依次寻找更优(使目标函数值增加)的基可行解, 直至最优.

单纯形法：

因为线性规划问题若存在最优解, 则一定存在一个基可行解是最优解。根据前述基变量/非基变量的想法，将原问题进一步写为：
$$\mathbf{c}=\left[\begin{array}{c}{\mathbf{c}}_B\\ {\mathbf{c}}_N\end{array}\right],\mathbf{x}=\left[\begin{array}{c}{\mathbf{x}}_B\\ {\mathbf{x}}_N\end{array}\right],\mathbf{A}=\left[\begin{array}{ll}{\mathbf{A}}_B& {\mathbf{A}}_N\end{array}\right]$$
$$\begin{array}{rl}\max & z={\mathbf{c}}^T\mathbf{x}={\mathbf{c}}_B^T{\mathbf{x}}_B+{\mathbf{c}}_N^T{\mathbf{x}}_N\\ \text{ s.t. }& \{\begin{array}{l}{\mathbf{A}}_B{\mathbf{x}}_B+{\mathbf{A}}_N{\mathbf{x}}_N=\mathbf{b}\\ {\mathbf{x}}_B\ge 0,{\mathbf{x}}_N\ge 0\end{array}\end{array}$$
此处仍假设$\mathbf{A}$的秩为$m$

寻找初始基可行解：

若系数矩阵 $\mathbf{A}$ 中存在 $m$ 个列向量, 恰好构成单位矩阵, 即存在 ${\mathbf{p}}_{i_1},{\mathbf{p}}_{i_2},\dots ,{\mathbf{p}}_{i_m}$ 构成的矩阵为:
$$\left[\begin{array}{llll}{\mathbf{p}}_{i_1}& {\mathbf{p}}_{i_2}& \cdots & {\mathbf{p}}_{i_m}\end{array}\right]=\left[\begin{array}{cccc}1& 0& \cdots & 0\\ 0& 1& \ddots & ⋮\\ ⋮& \ddots & \ddots & 0\\ 0& \cdots & 0& 1\end{array}\right]$$

将这些向量作为基向量, 相应的决策变量 $x_{i_1},x_{i_2},\dots ,x_{i_m}$ 为基变量, 其它为非基变量, 则 ${\mathbf{x}}_B=0,{\mathbf{x}}_N=0$ 就是一个基可行解.

进一步地，两阶段法与大M法提供了求初始基本可行解方法：

两阶段法

当矩阵$\mathbf{A}$不包含$m$阶单位矩阵，为使约束方程的系数矩阵中含有$m$阶单位矩阵，把每个方程增加一个非负变量，令$$\begin{array}{rl}& \mathbf{A}\mathbf{x}+{\mathbf{x}}_a=\mathbf{b},\\ & \mathbf{x}⩾0,{\mathbf{x}}_a⩾0,\end{array}$$即
$$\begin{array}{rl}& \left[\mathbf{A},{\mathbf{I}}_m\right]\left[\begin{array}{l}\mathbf{x}\\ {\mathbf{x}}_a\end{array}\right]=\mathbf{b},\\ & \mathbf{x}⩾0,{\mathbf{x}}_a⩾0.\end{array}$$
$\left[\mathbf{A},{\mathbf{I}}_m\right]\in {\mathcal{R}}^{m\ast (m+n)}$.
显然，$\left[\begin{array}{l}\mathbf{x}\\ x_a\end{array}\right]=\left[\begin{array}{l}0\\ b\end{array}\right]$是基本可行解。
但要注意此时原约束$Ax=b$已不满足, 思路为从上面的基本可行解出发,能够求出一个使 ${\mathbf{x}}_a=0$ 的基本可行解, 那么就可得到原问题的一个基本可行解：这个问题可以被表述为（第一阶段问题）：$$\begin{array}{ll}\min & {\mathbf{e}}^{\mathrm{T}}{\mathbf{x}}_a\\ \text{ s. t. }& \mathbf{A}\mathbf{x}+{\mathbf{x}}_a=\mathbf{b},\\ & \mathbf{x}⩾0,{\mathbf{x}}_a⩾0.\end{array}$$ 其中$e=(1,1,\cdots ,1{)}^{\mathrm{T}}$，由于 $\mathbf{x}=0,{\mathbf{x}}_{\mathbf{a}}=\mathbf{b}$ 是上述问题一个基本可行解, 目标函数值在可行域上有下界，则其必存在最优基本可行解. 所取得最优基本可行解${\left({\overline{\mathbf{x}}}^{\mathrm{T}},{\overline{\mathbf{x}}}_a^{\mathrm{T}}\right)}^{\mathrm{T}}$存在如下情形：
（1） ${\overline{\mathbf{x}}}_{\mathbf{a}}\ne 0$. 这时原问题无可行解. 因为如果其存在可行解 $\hat{\mathbf{x}}$, 则
$$\left[\begin{array}{l}\mathbf{x}\\ x_a\end{array}\right]=\left[\begin{array}{l}\hat{x}\\ 0\end{array}\right]$$是线性规划 (3.2.4) 的可行解. 在此点的目标函数值$$f=0\cdot \hat{\mathbf{x}}+{\mathbf{e}}^{\mathrm{T}}\cdot 0=0<{\mathbf{e}}^{\top }{\overline{\mathbf{x}}}_a,$$而 ${\mathbf{e}}^{\mathrm{T}}{\bar{x}}_a$ 是目标函数的最优值，矛盾.
(2) ${\overline{\mathbf{x}}}_a=0$ 且 ${\mathbf{x}}_a$ 的分量都是非基变量. 这时, $m$ 个基变量都是原来的变量, 则$$\left[\begin{array}{l}x\\ x_a\end{array}\right]=\left[\begin{array}{l}\bar{x}\\ 0\end{array}\right]$$
是第一阶段的基本可行解,因此 $\mathbf{x}=\overline{\mathbf{x}}$ 是原问题一个基本可行解.
（3） ${\bar{x}}_a=0$ 且 ${\mathbf{x}}_a$ 的某些分量是基变量. 这时, 可用主元消去法，把原来变量中的某些非基变量引进基，替换出基变量中的人工变量，再开始两阶段法的第二阶段. 应指出, 为替换出人工变量而采用的主元消去，在主元的选择上，并不要求遵守单纯形法确定离进基变量的规则,这个问题在后面的例题中还要说明.

两阶段法的第二阶段, 就是从得到的基本可行解出发, 用单纯形方法求原问题的最优解.

大M法

在约束中增加人工变量 $x_a$, 同时修改目标函数, 加上罚项 $-M{e}^{\mathrm{T}}{x}_a$, 其中 $M$ 是很大的正数, 这样, 在极小化目标函数的过程中, 由于大 $M$ 的存在, 将迫使人工变量离基.

寻找改进的基可行解：

当前基可行解为：$${\mathbf{x}}_B={\mathbf{A}}_B^{-1}\mathbf{b},{\mathbf{x}}_N=0$$
相应的目标函数值：
$$\bar{z}={\mathbf{c}}^T\mathbf{x}={\mathbf{c}}_B^T{\mathbf{x}}_B+{\mathbf{c}}_N^T{\mathbf{x}}_N={\mathbf{c}}_B^T{\mathbf{A}}_B^{-1}\mathbf{b}$$
同时$$\begin{array}{rl}& A_B{x}_B+A_N{x}_N=b\\ & x_B=A_B^{-1}\left[b-A_N{x}_N\right]\end{array}$$为了使当前值进一步变大（max z），可以通过扰动当前的基可行解， 任取 $j\in \mathcal{N}$, 让非基变量 $x_j$ 从 0 变成大于零, 则原基变量的解变化为 ${\mathbf{x}}_B^{\prime }$, 扰动后还必须是可行解, 即:$$\begin{array}{rl}{z}^{\prime }& =c_B^{\top }{x}_B+c_N^{\top }{x}_N\\ & =c_B^{\top }{A}_B^{-1}\left[b-A_N{x}_N\right]+c_N^{\top }{x}_N\\ & =\underset{\bar{z}}{\underbrace{c_B^{\top }{A}_B^{-1}b}}+\left[c_N^{\top }-c_B^{\top }{A}_B^{-1}{A}_N\right]x_N\\ & =\bar{z}+\sum _j\left[c_j-c_B^{\top }{A}_B^{-1}{p}_j\right]x_j\end{array}$$即当每个$x_j$取值相同时，$c_j-c_B^{\top }{A}_B^{-1}{p}_j$越大，目标函数值增加越多，进一步假定 c k − c B ⊤ A B − 1 p k = max ⁡ j { c j − c B ⊤ A B − 1 p j } > 0 c_k-c_B^{\top} A_B^{-1} {p}_k = \max_j \{ c_j-c_B^{\top} A_B^{-1} {p}_j \} > 0 ck​−cB⊤​AB−1​pk​=jmax​{cj​−cB⊤​AB−1​pj​}>0，此时等式约束$A_B{x}_B+A_N{x}_N=b(x_N=0)$变为：$$\begin{gathered} A_B{x}_B+p_k{x}_k=b \\ {x}_B=A_B^{-1}b-A_B^{-1}{p}_k{x}_k \end{gathered}$$称$c_j-c_B^{\top }{A}_B^{-1}{p}_j$为检验数.

令$\overline{\mathbf{b}}={\mathbf{A}}_B^{-1}\mathbf{b},{\mathbf{y}}_k={\mathbf{A}}_B^{-1}{\mathbf{p}}_k$，$x_B=\overline{\mathbf{b}}-{\mathbf{y}}_k{x}_k$，此时$x_B$与$x_N$的形式为：
${\mathbf{x}}_{\mathbf{B}}=\left[\begin{array}{c}{x}_{B_1}\\ x_{B_2}\\ ⋮\\ x_{B_m}\end{array}\right]=\left[\begin{array}{c}{\bar{b}}_1\\ {\bar{b}}_2\\ ⋮\\ {\bar{b}}_m\end{array}\right]-\left[\begin{array}{c}{y}_{1k}\\ y_{2k}\\ ⋮\\ y_{mk}\end{array}\right]x_k$，${\mathbf{x}}_N={\left(0,\cdots ,0,x_k,0,\cdots ,0\right)}^{\mathrm{T}}$，$z^{\prime }=\bar{z}+\left[c_k-c_B^{\top }{A}_B^{-1}{p}_k\right]x_k$
随后，需要确定$x_k$的取值. 因为需保证$x_k$取任意非负值时，$x_B=\overline{\mathbf{b}}-{\mathbf{y}}_k{x}_k={\mathbf{A}}_B^{-1}\mathbf{b}-{\mathbf{A}}_B^{-1}{\mathbf{p}}_k{x}_k\ge 0$，即每个元素都大于0，又因为
$${\mathbf{x}}_{\mathbf{B}}=\left[\begin{array}{c}{\bar{b}}_1-y_{1k}{x}_k\\ {\bar{b}}_2-y_{2k}{x}_k\\ ⋮\\ {\bar{b}}_m-y_{mk}{x}_k\end{array}\right]$$

于是得到：$$x_k=\min \left\{\frac{{\bar{b}}_i}{y_{ik}}|y_{ik}>0\right\}=\frac{{\bar{b}}_r}{y_{rk}},$$