单纯形算法 Simplex Algorithm (一)

单纯形算法是求解线性规划问题最经典的方法，在许多介绍该算法的文章中会使用单纯形表(Tableau)辅助计算，而对Tableau进行的操作本质上都是在对松弛化的线性规划模型进行矩阵运算，从几何表现上看，就是在线性规划问题的定义域上的顶点中迭代搜索，寻找使得目标函数最优的那个顶点。使用Tableau计算虽然很高效，不过对于理解算法原理帮助不大；单纯形算法的原理是基于线性代数的，如果要彻底理解，还是需要很多基础的矩阵知识的。这篇文章里我只是记录和单纯形算法相关的线性代数知识，加深对该算法中一些术语的记忆和理解；算法里更加具体的线代原理则跳过，那已经超过了我的认知水平，在后续文章中会记录更容易理解的算法计算过程。

线性规划松弛形式

在应用算法前，必须对原始的线性规划模型进行预处理，先转换成标准线性规划模型，再转换成松弛线性规划模型。标准线性规划模型的形式：
$$\begin{array}{rl}max& Z={\mathbf{c}}^T\mathbf{x}\\ s.t.& \mathbf{A}\mathbf{x}\le \mathbf{b}\\ & \mathbf{x}\ge 0\end{array}$$
具体形式：
$$\begin{array}{rl}max& Z=c_1{x}_1+c_2{x}_2+...+c_n{x}_n\\ s.t.& \left[\begin{array}{cccc}{a}_{11}& a_{12}& ...& a_{1n}\\ a_{21}& a_{22}& ...& a_{2n}\\ .& .& .& .\\ a_{m1}& a_{m2}& ...& a_{mn}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ .\\ x_n\end{array}\right]\le \left[\begin{array}{c}{b}_1\\ b_2\\ .\\ b_m\end{array}\right]\\ & \mathbf{x}\ge 0\end{array}$$
如果将一个原始的线性规划模型标准化? 如果目标是最小化，则乘上-1变成最大化目标(当然标准模型的目标函数也可以是最小化，两者本质是相同的，只不过算法的某些细节上互为相反)；如果约束是$\ge$，两边同乘-1；如果某个变量$x_i<0$，那么定义$x_i=x^{\prime }-x^{\prime \prime }$，并且$x^{\prime }\ge 0,x^{\prime \prime }\ge 0$，将原变量替换成$x^{\prime }$和$x^{\prime \prime }$

然后将标准形式转换成松弛形式，其实就是给每个约束不等式上引入松弛变量$s$，将所有的约束不等式转换成等式：
$$\begin{array}{rl}max& Z={\mathbf{c}}^T{\mathbf{x}}^{\prime }\\ s.t.& {\mathbf{A}}^{\prime }{\mathbf{x}}^{\prime }=\mathbf{b}\\ & {\mathbf{x}}^{\prime }\ge 0\end{array}$$
即:
m a x Z = c 1 x 1 + c 2 x 2 + . . . + c n x n s . t . a 11 x 1 + a 12 x 2 + . . . + a 1 n x n + s 1 = b 1 a 21 x 1 + a 22 x 2 + . . . + a 2 n x n + s 2 = b 2 . . . a m 1 x 1 + a m 2 x 2 + . . . + a m n x n + s m = b m x 1 , x 2 , . . . , x n , s 1 , . . . , s m ≥ 0 \begin{aligned} max\quad& Z=c_1x_1+c_2x_2+...+c_nx_n\\ s.t.\quad& a_{11}x_{1}+a_{12}x_{2}+...+a_{1n}x_{n}+s_1=b_1 \\ & a_{21}x_{1}+a_{22}x_{2}+...+a_{2n}x_{n}+s_2=b_2 \\ & {...} \\ & a_{m1}x_{1}+a_{m2}x_{2}+...+a_{mn}x_{n}+s_m=b_m \\ & x_1,x_2,...,x_n,s_1,...,s_m \geq 0 \end{aligned} maxs.t.​Z=c1​x1​+c2​x2​+...+cn​xn​<