线性规划的单纯形法

最新推荐文章于 2021-10-07 11:39:50 发布

HfCloud

最新推荐文章于 2021-10-07 11:39:50 发布

阅读量1.3w

点赞数 7

分类专栏：算法文章标签：数学算法

本文链接：https://blog.csdn.net/u013632138/article/details/53609635

版权

算法专栏收录该内容

23 篇文章 1 订阅

订阅专栏

(同步个人博客 http://sxysxy.org/blogs/78 到csdn)

本文相关资料可以到 https://github.com/sxysxy/math/tree/master/simplex 下载)

线性规划简介:

线性规划(Linear Programming, LP)，是运筹学中研究较早、发展较快、应用广泛、方法较成熟的一个重要分支，它是辅助人们进行科学管理的一种数学方法。研究线性约束条件下线性目标函数的极值问题的数学理论和方法。英文缩写LP。它是运筹学的一个重要分支，广泛应用于军事作战、经济分析、经营管理和工程技术等方面。为合理地利用有限的人力、物力、财力等资源作出的最优决策，提供科学的依据。(来自百度百科)

线性规划问题:

在一般的线性规划问题中，我们希望优化一个满足一组线性不等式约束的线性函数。一直一组实数 $(a_{1}, a_{2}...,a_{n})$ ，对应的一组变量 $(x_{1}, x_{2}...,x_{n})$ 。定义关于这些变量的一个线性函数:
$f(x_{1}, x_{2}...,x_{n}) = a_{1}x_{1} + a_{2}x_{2} + ... + a_{n}x_{n} = \sum_{i=1}^{n}a_{i}x_{i}$
那么等式 $f(x_{1}, x_{2}...,x_{n}) = b$ 和不等式 $f(x_{1}, x_{2}...,x_{n}) \le b$ 以及 $f(x_{1}, x_{2}...,x_{n}) \ge b$ 都称为”线性约束”。并且不久之后我们即将看到，我们可以把两种不等式的约束形式统一为 $f(x_{1}, x_{2}...,x_{n}) \le b'$ 这种形式，然而之后在运行解决线性规划的单纯形法时又会将它变成等价的 $f(x_{1}, x_{2}...,x_{n}) = b_{0}$ 形式。

描述线性规划问题:

线性规划问题的标准型:

如果我们已知n个实数 $c_{1}, c_{2}..., c_{n}$ 与m个实数 $b_{1}, b_{2}..., b_{m}$ ，以及n*m个实数 $a_{ij}, i = 1,2,...,m, j=1,2,..,n$ ，我们希望找到n个实数 $x_{1}, x_{2},...,x_{n}$

最大化 $\sum_{j=1}^{n}c_{j}x_{j}$

满足约束
$\sum_{j=1}^{n}a_{ij}x_{j} \le b_{i}, i = 1, 2...,m$
$x_{j} \ge 0, j = 1, 2,..., n$

或者将分别将 $b_{1}, b_{2},...,b_{m}$ 和 $c_{1}, c_{2}, ..., c_{n}$ 和 $x_{1}, x_{2}, ..., x_{n}$ 表示成向量b, c, x，构造m行n列矩阵 $A = (a_{ij})$ 。那么标准型也可以写作:

最大化 $c^Tx$

满足约束
$Ax \le b$
$x \ge 0$

注意到，标准型里面目标函数的目标是最大化，所有变量都具有非负约束，除了非负约束外的约束都是具有 <= 符号的非严格不等式。对于不满足标准型形式的线性规划，我们可以想办法将它转化为标准型:

问题1:目标函数的目标并非最大化，而是最小化。

取负即可。也就是最小化 $c^Tx$ 等价于最大化 $-c^Tx$

问题2:一些变量不具有非负约束

对于不具有非负约束的变量 $x_{j}$ ，把 $x_{j}$ 每次出现的地方都替换为适当的

问题3:大于等于约束和等式约束

大于等于约束两边同时取负即可。即 $\sum_{j=1}^{n}a_{ij} \ge b_{i}$ 等价于 $\sum_{j=1}^{n}-a_{ij} \le -b_{i}$

等式约束拆成两个不等式约束。对于 $\sum_{j=1}^{n}a_{ij} = b_{i}$ 等价于 $\sum_{j=1}^{n}a_{ij} \le b_{i}$ 且 $\sum_{j=1}^{n}-a_{ij} \le -b_{i}$

描述线性规划问题的松弛型

为了利用单纯形算法高效地求解线性规划，我们更喜欢把其中的除非负约束外的约束转换成等式约束。

对于一个约束 $\sum_{j=1}^{n}a_{ij} \le b_{i}$ 引入一个松弛变量s，约束即可写作:
$s = b_{i} - \sum_{j=1}^{n}a_{ij}, s \ge 0$ 。
一般地，为了方便常会用 $x_{n+i}$ 作为第i个约束条件的松弛变量。因此第i约束条件就可以写作:
$x_{n+i} = b_{i} - \sum_{j=1}^{n}a_{ij}x_{j}, x_{n+i} \ge 0$

example:用一个例子来说明上述描述线性规划问题的方法:

最小化 $-2x_{1} + 3x_{2}$

满足约束条件

　　　　　　 $x_{1} + x_{2} = 7$ 　

　　　　　　 $x_{1} - 2x_{2} \le 4$ 　

　　　　　　 $x_{1} \ge 0$

最小化目标转变成最大化:

最大化 $2x_{1} - 3x_{2}$

满足约束条件

　　　　　　 $x_{1} + x_{2} = 7$ 　

　　　　　　 $x_{1} - 2x_{2} \le 4$ 　

　　　　　　 $x_{1} \ge 0$

等式约束

拆开等式约束:

最大化 $2x_{1} - 3x_{2}$

满足约束条件

　　　　　　 $x_{1} + x_{2} \le 7$ 　

　　　　　　 $-x_{1} - x_{2} \le -7$ 　

　　　　　　 $x_{1} - 2x_{2} \le 4$ 　

　　　　　　 $x_{1} \ge 0$

增加非负约束

$x_{2}$ 替换为 $x_{2}-x_{3}$ ，添加对 $x_{2},x_{3}$ 的非负约束，得到

最大化 $2x_{1} - 3x_{2}+3x_{3}$

满足约束条件

　　　　　　 $x_{1} + x_{2} - x_{3}\le 7$ 　

　　　　　　 $-x_{1} - x_{2}+x_{3} \le -7$ 　

　　　　　　 $x_{1} - 2x_{2} + 2x_{3}\le 4$ 　

　　　　　　 $x_{1} \ge 0, x_{2} \ge 0 ,x_{3} \ge 0$

标准型到松弛型

除了非负约束外，有3个约束条件，于是增加松弛变量 $x_{4} , x_{5} ,x_{6}$

最大化 $2x_{1} - 3x_{2}+3x_{3}$

满足约束条件

　　　　　　 $x_{4} = 7 - x_{1} - x_{2} + x_{3}$ 　

　　　　　　 $x_{5} = -7 + x_{1} + x_{2} - x_{3}$ 　

　　　　　　 $x_{6} = 4 - x_{1} + 2x_{2} - 2x_{3}$ 　

　　　　　　 $x_{1} \ge 0, x_{2} \ge 0 ,x_{3} \ge 0,x_{4} \ge 0,x_{5} \ge 0,x_{6} \ge 0$

思考:如果原先有一个等式约束，直接把它写到松弛型里面，与将它转变成标准型，再变成松弛型(这样就比前者多了一个约束条件)，问题是否等价？（提示:考虑后者引入的松弛变量s1 = s2 = 0)

~~作业:请自行练习描述线性规划问题的方法~~

解决线性规划问题的单纯形法:

单纯形算法是求解线性规划的经典算法，它再最坏情况瞎执行时间并不是多项式级别的，但是在实际的应用中，它总是相当快速。

个人理解:

单纯形法接受一个松弛型的输入，每轮迭代尝试将松弛型L转变为一个等价的松弛型L’，直到转变成一种”易于求解的松弛型”，得到结果。这就类似化三角法求行列式值。

什么是”易于求解的松弛型”呢？如果目标函数具有

$z = C + \sum_{i=1}^{n'}c'_{i}x'_{i}, c'_{i} <= 0$ 这样的形式，由于变量具有非负约束，因此z的最大值即为常数C。如果我们能把一般的松弛型转变为这样”易于求解的松弛型”的松弛型即可得解。

具体的方法换个便于演示的例子:

考虑下面这个松弛型:

最大化 $z = 3x_{1} + x_{2} + 2x_{3}$

满足约束条件

　　　　　　 $x_{4} = 30 - x_{1} - x_{2} - 3x_{3}$ 　

　　　　　　 $x_{5} = 24 -2 x_{1} - 2x_{2} - 5x_{3}$ 　

　　　　　　 $x_{6} = 36 -4 x_{1} - x_{2} - 2x_{3}$ 　

　　　　　　 $x_{1} \ge 0, x_{2} \ge 0 ,x_{3} \ge 0,x_{4} \ge 0,x_{5} \ge 0,x_{6} \ge 0$

术语：我们把松弛型约束条件等号左边的变量称为基本变量，右边的称为非基本变量。

我们会选取目标函数里面某个系数为正的非基本变量 $x_{e}$ ，并尽可能增大 $x_{e}$ 的取值且不违反任何约束条件。由于 $x_{e}$ 的增大可能会导致其它变量值缩小，但是其它变量也存在非负约束，这样就约束了 $x_{e}$ 的取值的上界，我们选出对 $x_{e}$ 约束最紧的变量 $x_{l}$ ，令 $x_{e}$ 与 $x_{l}$ 互换(代入法)得到一个新的等价的松弛型。具体对于我们这个例子就是:

首先看变量 $x_{1}$ ，对它约束最紧的是第三个约束，约束了 $x_{1}\le9$ 。是 $x_{6}$ 约束了 $x_{1}$ 。于是互换 $x_{6}$ 与 $x_{1}$ ，把 $x_{1}$ 放到 $x_{6}$ 的位置，得到

$x_{1} = 9 - \frac{x_{2}}{4} - \frac{x_{3}}{2} - \frac{x_{6}}{4}$ 。

将约束条件不等式右边的所有 $x_{1}$ 用这个式子替换掉，即可得到

最大化 $z = 27+\frac{x_{2}}{4} + \frac{x_{3}}{2} - \frac{3x_{6}}{4}$

满足约束条件

　　　　　　 $x_{1} = 9 - \frac{x_{2}}{4} - \frac{x_{3}}{2} - \frac{x_{6}}{4}$ 　

　　　　　　 $x_{4} = 21 - \frac{3x_{2}}{4} - \frac{5x_{3}}{2} + \frac{x_{6}}{4}$ 　

　　　　　　 $x_{5} = 6 - \frac{3x_{2}}{2} - 4x_{3}+\frac{x_{6}}{2}$ 　

　　　　　　 $x_{1} \ge 0, x_{2} \ge 0 ,x_{3} \ge 0,x_{4} \ge 0,x_{5} \ge 0,x_{6} \ge 0$

这样的一次操作叫做转动(pivot)

(结合例子请思考:选择约束最紧的变量做互换的原因。提示:如果换的不是最紧的约束看看会违反什么性质)

然后选择变量 $x_{2}$ 或者 $x_{3}$ ，不选 $x_{6}$ 是因为增大 $x_{6}$ 会导致目标z减小。

如果选择 $x_{3}$ ，同样的方法，互换 $x_{3}$ 与 $x_{5}$ 可以得到新的但等价的约束系统:

最大化 $z = \frac{111}{4}+\frac{x_{2}}{16}-\frac{x_{5}}{8}-\frac{11x_{6}}{16}$

满足约束条件

　　　　　　 $x_{1} = \frac{33}{4}-\frac{x_{2}}{16}+\frac{x_{5}}{8}-\frac{5x_{6}}{16}$ 　

　　　　　　 $x_{3} = \frac{3}{2}-\frac{3x_{2}}{8}-\frac{x_{5}}{4}+\frac{x_{6}}{8}$ 　

　　　　　　 $x_{4} = \frac{69}{4}+\frac{3x_{2}}{16}+\frac{5x_{5}}{8}-\frac{x_{6}}{16}$ 　

　　　　　　 $x_{1} \ge 0, x_{2} \ge 0 ,x_{3} \ge 0,x_{4} \ge 0,x_{5} \ge 0,x_{6} \ge 0$

接下来也只剩下 $x_{2}$ 这个变量可选了，与 $x_{3}$ 互换，得到

最大化 $z = 28 - \frac{x_{3}}{6}-\frac{x_{5}}{6}-\frac{2x_{6}}{3}$

满足约束条件

　　　　　　 $x_{1} = 8+\frac{x_{3}}{6} + \frac{x_{5}}{6}-\frac{x_{6}}{3}$ 　

　　　　　　 $x_{2} = 4-\frac{8x_{3}}{3}-\frac{2x_{5}}{3}+\frac{x_{6}}{3}$ 　

　　　　　　 $x_{4} = 18-\frac{x_{3}}{2}+\frac{x_{5}}{2}$ 　

　　　　　　 $x_{1} \ge 0, x_{2} \ge 0 ,x_{3} \ge 0,x_{4} \ge 0,x_{5} \ge 0,x_{6} \ge 0$

此时目标函数右边变量系数全部为负数，且变量具有非负约束，显然这时候能得到的z的最大值为28。当且仅当 $x_{3} = x_{5} = x_{6} = 0$ 。带入解得 $x_{1} = 8, x_{2} = 4, x_{4} = 18$ 。除去附加的松弛变量，最终这个线性规划最优解为 $x_{1} = 8, x_{2} = 4, x_{3} = 0, z = 28$

思考:每次转动操作交换的两个变量对单纯形法的运行时间有着怎样的影响？如何选择可以使单纯形法尽快结束？（提示:每次pivot尽可能让目标函数增大得多）

单纯形算法代码实现

如需参考，见 https://github.com/sxysxy/math/blob/master/simplex/simplex.c，有详细注释。

伪代码:

simplex:
    检查是否无解
    loop:
        找出目标函数中前面系数为正数的一个变量x
        如果找不到x
            返回目标函数的常数项(已找到目标函数最大值)
        找到对x的增长约束最紧的变量y   
        如果找不到y
            返回Inf
        互换变量x,y(pivot(x,y)，操作后问题与原来等价)

~~pivot请自行实现~~

~~作业:~~

非标准型转换为标准型魔法码(github上给出的参考代码要求输入的是标准型)

输出目标函数达到最大值时自变量的取值

思考:会不会存在一种情况:虽然一个线性规划问题有解，但是单纯形算法仍会无休止迭代下去。

思考:如果判断出这样一种无解的情况:

$-x_{1}+x_{2} = 4$ 　
$x_{2} = 2$
$x_{1} \ge 0, x_{2} \ge 0$

后记

周五(2016.12.16)在魔法裙里面讲了一波，收获颇为丰富，并且也搞明白了一些之前没明白的问题，并且补充了本文的内容)

参考资料

《算法导论》第三版

互联网上相关资料

内容如有错误欢迎指出！请联系<1441157749@qq.com>

关于作者sxysxy

QaQ 鶸渣一枚

HfCloud

关注

7
点赞
踩
11

收藏

觉得还不错? 一键收藏
0
评论
线性规划的单纯形法

(同步个人博客http://sxysxy.org/blogs/78 到csdn…可以到 https://github.com/sxysxy/math/tree/master/simplex 下载本文的markdown文件和代码等相关资料线性规划简介:线性规划(Linear Programming, LP)，是运筹学中研究较早、发展较快、应用广泛、方法较成熟的一个重要分支，它是辅助人们进行科学管理的一
复制链接

扫一扫