Large scale linear optimization

同步发文在 知乎

本文介绍大规模线性规划问题的求解思想。内容主要来源自 《Introduction to Linear Optimization》Chapter 6.

Delayed column generation

考虑一个非退化的线性规划的标准问题：

$$\begin{array}{cl}\min & c^{T}x\\ \text{s.t.}& Ax=b,x\ge 0\end{array}\text{\hspace{1em}(1)}$$

假如说矩阵 $A\in {\mathrm{R}}^{m\times n}$ 的列数非常大，即 $n\gg m$，这时候我们无法把所有的列都放入内存执行计算。但是，注意到问题只有 $m$ 个基变量，也就是说我们只需要找到 $n$ 列中特定的 $m$ 列，就可以完成单纯型法的迭代，找到最优解了！

我们可以先随便选取一组基变量进行计算， 接着我们就要去找 entering variable，找进基变量的准则是 reduced cost ${\bar{c}}_j=c_j-c_B^T{B}^{-1}{A}_j<0$。当然，一般会选择 ${\bar{c}}_j$ 最小的指标 $j$ 进基，这就归结于问题：

$$\min {\bar{c}}_j=c_j-c_B^T{B}^{-1}{A}_j$$

对于一些具有特殊结构的线性规划，只要如上的问题可以轻松解决，即找到进基指标 $j$ 和相应的列 $A_j$，那么原问题就可以得到高效地求解！

注：矩阵 $B$ 可以借助 revised simplex 方法进行迭代，因此计算量也是小的。

下料问题是一个经典的、可以使用列生成算法来求解的问题。

Cutting-stock problem

下料问题由Kantorovich在1939年提出，是一个 NP-Hard 问题。

假设一个造纸厂生产长度为 $W$ 的纸，然而，$m$ 个顾客需要的是 $b_i$ 卷长度为 $w_i<W$ 的纸（$i=1,\dots ,m$）。那么，造纸厂最少需要多少卷纸来满足顾客的需求呢？

为了解决这个问题，用一个列向量 $A_j=[a_{ij}{]}_{m\times 1}$ 表示一卷长度为 $W$ 的纸是如何切割成若干个长度为 $w_i$ 的纸的，其中 $a_{ij}$ 表示第 $j$ 种切法中切出长度为 $w_i$ 的纸的数量。这样的话，对于一个向量 $[a_{1j},a_{2j},\dots ,a_{mj}{]}^T$ ，它成为一种可行的切法的充要条件是满足：

$$A_j^{T}w=\sum _{i=1}^m{a}_{ij}{w}_i\le W,a_{ij}\in \mathrm{N}$$

令矩阵 $A=[A_j{]}_{1\times n}\in {\mathrm{R}}^{m\times n}$ 表示所有可行的切割方法，注意到 $n$ 可能非常大，这会给问题带来困难。

下料问题归结为一下优化问题：

$$\begin{array}{rl}\min & \sum _{j=1}^n{x}_j\\ \text{s.t.}& \sum _{j=1}^n{a}_{ij}{x}_j\ge b_i,i=1,2,\dots ,m\\ & x_j\ge 0,x_j\in \mathbb{N},j=1,2,\dots ,n\end{array}$$

决策变量 $x_j$ 表示第 $j$ 种切割方法执行的数量。这是一个整数规划问题，把整数条件放松掉，我们求解一个线性规划问题能轻松得到原整数规划问题的一个上界。（向上取整即可），于是其线性松弛可以表示为：

$$\begin{array}{rl}\min & \sum _{j=1}^n{x}_j\\ \text{s.t.}& \sum _{j=1}^n{a}_{ij}{x}_j=b_i,i=1,2,\dots ,m\\ & x_j\ge 0,j=1,2,\dots ,n\end{array}$$

注意到 $n\gg m$，可行的切割方案数是非常大的，所以，这里可以使用 delayed column generation 的思想。不妨初始化设置 $B=I_{m\times m}$，接下来解优化问题：

$$\begin{array}{rl}\min & 1-c_B^T{B}^{-1}{A}_j\\ \text{s.t.}& [w_1,\dots ,w_m]A_j\le W,a_{ij}\in \mathbb{N}\end{array}$$

找到合适的进基变量和对应的列 $A_j$. 这里的目标函数是变量 $x_j$ 在单纯型表中的系数。

注意到这里是一个整数规划问题，但是可以用动态规划算法以伪多项式的时间内求解。

接下来用 revised simplex 更新矩阵 $B$. 迭代到上述问题的最优值大于等于0的时候，原问题达到最优，单纯型迭代停止。这样我们就解决了一个整数规划的线性松弛问题。

最后，对线性松弛最优解向上取证，可得： IP-optimal cost $\le$ LP-optimal cost + $m$. 在 $m$ 较小的时候，这是一个良好的近似解。

Cutting-plane method

列生成算法针对的是线性规划中列数特别多的情况，而切平面方法针对的是约束条件特别多的情况。这两种方法的联系可以理解为，列生成针对的是原问题，而切平面解决的是对偶问题：

max ⁡ p T b