详解 Benders 分解与一个算例的 python 代码

听说过 benders 分解几年了，在生产管理、路径规划与选址问题中经常应用，一直没有细看，最近论文里面也见到，还是有必要了解一下它的基本思想与用法的。

1. 基本思想

benders 分解比较适合求解一些大规模的混合整数规划问题，它的基本思想是：将原问题的求解变量分为两部分，同时也将原问题分解成一个两阶段问题：主问题与子问题；随便初始化子问题的目标函数值，然后求解主问题得到第一部分变量的值（或者随便初始化第一部分变量的值），再将第一部分变量的值代入子问题求解第二部分变量的值；根据子问题是否可行解以及无界解的情况，更新约束并添加到主问题中，主问题的上下界也会发生变化；反复迭代，直到主问题的上界与下界十分接近为止。

注：现在 benders 有很多变种了，上面是经典 Benders 的基本思路。

例如下面一个混合整数规划问题：

问题 P1：
$$\begin{array}{rlr}& \max & 4x_1+7x_2+2y_1-3y_2+y_3\\ & s.t.& \\ & & 2x_1+4x_2+4y_1-2y_2+3y_3\le 12\\ & & 3x_1+5x_2+2y_1+3y_2-y_3\le 10\\ & & x_1\le 2,x_2\le 2\\ & & y_1\ge 0,y_2\ge 0,y_3\ge 0\\ & & x_1,x_2为整数\end{array}$$

在用 benders 求解这个问题之前，先了解一些数学概念。

2. 线性规划模型与对偶模型

一般的混合整数规划问题可以抽象为下面的表达：
$$\begin{array}{rlr}& \min & {\mathbf{c}}^{\mathrm{T}}\mathbf{x}+{\mathbf{d}}^{\mathrm{T}}\mathbf{y}\\ & s.t.& \\ & & \mathbf{Ax}+\mathbf{By}\ge \mathbf{b}\\ & & \mathbf{y}\ge 0\\ & & \mathbf{x}\in \mathbf{X}\end{array}$$

其中，$\mathbf{X}$ 为变量 $\mathbf{x}$ 的定义域，例如 $\mathbf{X}$ 可以为整数集 $\mathbb{Z}$。对于一个固定值 $\overline{\mathbf{x}}$，剩余问题(residual problem)可以表示为：
$$\begin{array}{rlrl}& \min & & {\mathbf{d}}^{\mathrm{T}}\mathbf{y}+{\mathbf{c}}^{\mathrm{T}}\overline{\mathbf{x}}\\ & s.t.& & \\ & & & \mathbf{By}\ge \mathbf{b}-\mathbf{A}\overline{\mathbf{x}}\\ & & & \mathbf{y}\ge 0\end{array}$$

剩余问题的对偶问题为：
$$\begin{array}{rlrl}& \max & & (\mathbf{b}-\mathbf{A}\overline{\mathbf{x}})\mathbf{u}+{\mathbf{c}}^{\mathrm{T}}\overline{\mathbf{x}}\\ & s.t.& & \\ & & & {\mathbf{B}}^{\mathrm{T}}\mathbf{u}\le \mathbf{d}\\ & & & \mathbf{u}\ge 0\end{array}$$

3. 线性规划的几何意义

3.1 多面体

线性规划的定义域 { x ∣ A x ≥ b } \bf \{x|Ax\geq b\} {x∣Ax≥b} 为一个多面体，例如下面的图形为多面体：

从图形中可以看出，多面体是一个凸集。

3.2 极点与极射线

• 极点

多面体的顶点也被称为极点（extreme point），它的定义为：对于多面体 $\mathbf{P}$， 若在多面体内找不到任意两个不同于 $\mathbf{x}$ 的点 $\mathbf{y},\mathbf{z}$ 以及一个标量 $\lambda \in [0,1]$， 使得 $\mathbf{x}=\lambda \mathbf{y}+(1-\lambda )\mathbf{z}$，则 $\mathbf{x}$ 为极点。（即 $\mathbf{x}$ 不在多面体内任何两点的连线里）

极点可以通过求解这个线性规划，得出的最优解即为一个极点。因为线性规划的最优解总存在于极点上。或者令 n 个线性无关的约束条件取等号，解方程得出，其中 n 为多面体的维度。

• 射线

多面体的射线定义为：对于一个向量 $\mathbf{r}$， 若对于多面体 $\mathbf{P}$ 的任何一点 $\mathbf{x}$ 以及任意非负标量 $\lambda$，都有 $\mathbf{x}+\lambda \mathbf{r}\in \mathbf{P}$，则称 $\mathbf{r}$ 为多面体 $\mathbf{P}$ 的射线。

例如，下面这个多面体中的箭头，都是该多面体的射线。

• 极射线

多面体的极射线定义为：对于多面体 $\mathbf{P}$ 中任何两个线性无关的射线 ${\mathbf{r}}_1$，${\mathbf{r}}_2$，若射线 $\mathbf{r}$ 不能表示为 $\mathbf{r}={\lambda }_1{\mathbf{r}}_1+{\lambda }_2{\mathbf{r}}_2$，其中 ${\lambda }_1,{\lambda }_2$ 为大于零的标量，则 $\mathbf{r}$ 为多面体的极射线。

几何意义：多面体边界上的射线是极射线。

要求出极射线，要用到它的另一个定义：对于一个多面体 { x ∣ A x ≥ b } \bf\{x|Ax\geq b\} {x∣Ax≥b}，它的多面锥（又称退化锥，因为是从多面体退化的）为 { x ∣ A x ≥ 0 } \bf\{x|Ax\geq 0\} {x∣Ax≥0}，假设 $\mathbf{x}$ 有 $n$ 个维度，则 n-1 个线性无关的约束条件取等号，同时满足剩下的那个条件，则可以求出一个极射线。

注：极射线是一个向量，因此极射线可以有多个解，可以通过求解一个带辅助变量的线性规划问题得出（辅助变量为一个0-1变量，目标函数为这个辅助变量值最大，约束条件中：随便选取 n-1 个约束取等号放进去，剩下那个约束也放进去，随便让其中一个变量等于 1）。

根据 《Introduction to linear optimization》一书 179 页，存在无界解时，单纯形表中，判断无界解的那一列的向量取负号，即 $d=-c_B{B}^{-}{A}_j$，即为一个极射线。

3.3 极射线、有界性、可行解的一些性质

一些定理或推论在理解 benders 添加 cuts 时会用到：

• 弱对偶性：若原问题无界，则对偶问题无可行解；若对偶问题无界，则原问题无可行解；若原问题无可行解，则对偶问题无界或无可行解。

• 一个多面体若存在极射线，则该多面体无界。

• 对于一个线性规划问题： min ⁡ { c T x ∣ A x ≥ b } \bf\min\{c^\mathrm{T}x| Ax\geq b\} min{cTx∣Ax≥b}，假设可行域至少存在一个极点，若该线性规划问题无界，则等同于存在一个极射线 $\mathbf{d}$，使得 ${\mathbf{c}}^{\mathbf{T}}\mathbf{d}\le 0$。

• 同理，对于一个最大化的线性规划问题： max ⁡ { c T x ∣ A x ≤ b } \bf\max\{c^\mathrm{T}x| Ax\leq b\} max{cTx∣Ax≤b}，假设可行域至少存在一个极点，若该线性规划问题无界，则等同于存在一个极射线 $\mathbf{d}$，使得 ${\mathbf{c}}^{\mathrm{T}}\mathbf{d}\ge 0$。

• 对于一个线性规划问题： min ⁡ { c T x ∣ A x ≥ b } \bf\min\{c^\mathrm{T}x| Ax\geq b\} min{cTx∣Ax≥b}，它有界时，存在可行解的充要条件是：它对偶问题的多面体 { u ∣ A T u ≤ c } \bf\{u| A^\mathrm{T}u\leq c\} {u∣ATu≤c} 中所有的极射线 ${\mathbf{r}}_{\mathbf{t}}$： ${\mathbf{r}}_{\mathbf{t}}^{\mathrm{T}}\mathbf{b}\le 0,t=1,2,\dots ,T$。(假设有 $T$ 个极射线，若对偶问题是无界的，就要找到它的一个极射线，加上这个 cut 约束。)

(结论似乎来自于 Farkas’ Lemma，见课本 Laurence A. Wolsey - Integer programming (2021)，236页，但其他资料里没有看到 Farkas’ Lemma 的这个结论)

• 对于一个线性规划问题： min ⁡ { c T x ∣ A x ≥ b } \bf\min\{c^\mathrm{T}x| Ax\geq b\} min{cTx∣Ax≥b}，若它的对偶问题存在可行解，它对偶问题的多面体 { u ∣ A T u ≤ c } \bf\{u| A^\mathrm{T}u\leq c\} {u∣ATu≤c} 中 $S$ 个极点为 ${\mathbf{u}}_{\mathbf{s}}^{\mathbf{T}},t=1,2,\dots ,S$，设原问题最优值为 $\eta$，则满足：
  $$\eta =\underset{s=1,2,\dots ,S}{\max }{\mathbf{u}}_{\mathbf{s}}^{\mathrm{T}}b$$

上面的式子等价于下面的线性规划：
$$\begin{array}{rl}\max & \eta \\ & {\mathbf{u}}_{\mathbf{s}}^{\mathrm{T}}b\le \eta s=1,2,\dots ,S\end{array}$$

这是由于原问题的目标函数值大于等于对偶问题的最优值，而对偶问题的最优值在它其中一个极点上达到。

3.4 Minkowski 定理

与上面两个性质相关的，还有一个 Minkowski 定理，又称作 Resolution 或 Fication 定理：

任何一个多面体 { x ∣ A x ≥ b } \bf\{x| Ax\geq b\} {x∣Ax≥b}，假设它有 $S$ 个极点 ${\mathbf{x}}_{\mathbf{s}}$， $T$ 个极射线 ${\mathbf{r}}_{\mathbf{t}}$，则该多面体也等价于下面的表达式：

{ x ∣ x = ∑ s = 1 S λ s x s + ∑ t = 1 T v t r t , ∑ s = 1 S λ s = 1 , λ s ≥ 0 , v t ≥ 0 , ∀ s , ∀ t } \{\mathbf{x| x}=\sum_{s=1}^S \lambda_s\mathbf{x}_s+\sum_{t=1}^T v_t\mathbf{r}_t, \quad\sum_{s=1}^S \lambda_s=1,\quad \lambda_s\geq 0, v_t\geq 0, \forall s, \forall t\} {x∣x=s=1∑S​λs​xs​+t=1∑T​vt​rt​,s=1∑S​λs​=1,λs​≥0,vt​≥0,∀s,∀t}

4 Bender’s 分解中的各种 problem

现在再回到第二部分的线性规划模型中，
原问题：
$$\begin{array}{rlr}& \min & {\mathbf{c}}^{\mathrm{T}}\mathbf{x}+{\mathbf{d}}^{\mathrm{T}}\mathbf{y}\\ & s.t.& \\ & & \mathbf{Ax}+\mathbf{By}\ge \mathbf{b}\\ & & \mathbf{y}\ge 0\\ & & \mathbf{x}\in \mathbf{X}\end{array}$$

改写为两阶段问题，
第一阶段问题：
$$\begin{array}{rlr}& \min & {\mathbf{c}}^{\mathrm{T}}\mathbf{x}+\varphi (\mathbf{x})\\ & s.t.& \\ & & \mathbf{x}\in \mathbf{X}\end{array}$$

第二阶段问题 $\varphi (\mathbf{x})$:
$$\begin{array}{rlrl}& \min & & \varphi (\mathbf{x})={\mathbf{d}}^{\mathrm{T}}\mathbf{y}\\ & s.t.& & \\ & & & \mathbf{By}\ge \mathbf{b}-\mathbf{A}\overline{\mathbf{x}}\\ & & & \mathbf{y}\ge 0\end{array}$$

它的对偶问题：
$$\begin{array}{rlrl}& \max & & (\mathbf{b}-\mathbf{A}\overline{\mathbf{x}}{)}^{\mathrm{T}}\mathbf{u}\\ & s.t.& & \\ & & & {\mathbf{B}}^{\mathrm{T}}\mathbf{u}\le \mathbf{d}\\ & & & \mathbf{u}\ge 0\end{array}$$

设第二阶段问题 $\varphi (\mathbf{x})$ 的最优值为 $\eta$，对偶问题的极射线为 ${\mathbf{r}}_t^T$，极点为 ${\mathbf{u}}_s^T$.

根据第三部分的性质，原线性规划问题等价于 Bender’s master problem：
(主要源于 Minkowski 定理，查阅的相关资料没有怎么细讲这个结论怎么来的)

$$\begin{array}{rl}\min & Z={\mathbf{c}}^{\mathrm{T}}\mathbf{x}+\eta \\ & {\mathbf{r}}_{\mathrm{t}}^{\mathrm{T}}(\mathbf{b}-\mathbf{Ax})\le 0t=1,2,\dots T\\ & (\mathbf{b}-\mathbf{Ax}{)}^{\mathrm{T}}{\mathbf{u}}_{\mathrm{s}}\le \eta s=1,2,\dots S\\ & \mathbf{x}\in \mathbf{X}\end{array}\text{\hspace{1em}(BMP)}$$

由于对偶问题的极点或极射线可以有很多，全 master problem 的约束条件也非常多。在实际求解中，这两个约束条件是逐步添加进去的。

feasibility cut:
$${\mathbf{r}}_{\mathbf{t}}^{\mathrm{T}}(\mathbf{b}-\mathbf{Ax})\le 0t=1,2,\dots T\text{\hspace{1em}(1)}$$
这个约束条件保证 BMP 问题可行。

optimality cut:
$$(\mathbf{b}-\mathbf{Ax}{)}^{\mathrm{T}}{\mathbf{u}}_{\mathbf{s}}\le \eta s=1,2,\dots S\text{\hspace{1em}(2)}$$
这个约束条件意味着第二阶段的最优值一定大于等于对偶问题所有极点的目标函数值。

5. 迭代过程中的 subproblem 与 master problem

第一阶段问题结合第二阶段问题的对偶问题，可以写成一个 subproblem，命名为 DSP：
$$\begin{array}{rlrl}& \underset{\mathbf{u}}{\max }& & (\mathbf{b}-\mathbf{A}\overline{\mathbf{x}}{)}^{\mathrm{T}}\mathbf{u}+{\mathbf{c}}^{\mathrm{T}}\overline{\mathbf{x}}\\ & s.t.& & \\ & & & {\mathbf{B}}^{\mathrm{T}}\mathbf{u}\le \mathbf{d}\\ & & & \mathbf{u}\ge 0\end{array}\text{\hspace{1em}(DSP)}$$

若代入DSP问题的 $\overline{\mathbf{x}}$ 值为原问题的可行解，则DSP问题的目标函数值为原问题的一个上界 $Z^{ub}$。

而 Benders 分解在迭代时求解的主问题 master peroblem 的松弛问题如下，命名为 BR：

$$\begin{array}{rl}\underset{\mathbf{x}}{\min }& Z^{lb}={\mathbf{c}}^{\mathrm{T}}\mathbf{x}+\eta \\ & \text{cuts}\\ & \mathbf{x}\in {\mathbf{P}}_{\mathbf{X}}\end{array}\text{\hspace{1em}(BR)}$$

其中的 cuts 是逐步放进去的，${\mathbf{P}}_{\mathbf{X}}$ 为 $\mathbf{x}$ 的松弛定义域，例如整数定义域可以松弛为实数。由于约束条件并不完整，所以它求解的目标函数值比原函数更小，为原问题的下界 $Z^{lb}$。

由于原问题一般为混合整数规划问题，一般 Benders 分解要结合分支定界来求解。

6. 迭代步骤

Benders 分解更具体的原理是：反复求解问题 BR 与问题 DSP，更新原问题的上下界，直到上下界很小为止；其中，求解 DSP 问题后，根据问题 DSP 解的情形，添加不同的 cuts 进入到问题 BR 中。

• 将原问题转化为标准形式，不然影响到对偶问题解的符号。

• 若 DSP 问题无界，添加 feasibility cut 到 BR 中。

• 若 DSP 问题有可行解，添加 optimality cut 到 BR 中。

• 若 DSP 问题无可行解，也表明原问题无可行解（原问题也可能无界，但无界就没必要求了，分支定界时终止这个分支）

实际在求解过程中，还可能结合分支定界对整数变量不断分支求解。

• 对于分支定界时，要检查 DSP 中的 $\varphi (\mathbf{x})=(\mathbf{b}-\mathbf{A}\overline{\mathbf{x}}{)}^{\mathrm{T}}\mathbf{u}$ 是否等于 BR 中求得的 $\eta$ 值，若相等，表明 DSP 问题对于给定的 $\overline{x}$ 值是最优的：此时要检查 $\overline{x}$ 是否为整数解，若不是，则开始分支，若是，则存储解并更新问题的上界；若 $\varphi (\mathbf{x})<\eta$，则添加 feasibility cut 到 BR 中继续迭代。

7. 具体例子求解

对于本文最初的问题 P1，应用 Bender’s 分解的详细步骤为：

原问题：

$$\begin{array}{rlr}& \max & 4x_1+7x_2+2y_1-3y_2+y_3\\ & s.t.& \\ & & 2x_1+4x_2+4y_1-2y_2+3y_3\le 12\\ & & 3x_1+5x_2+2y_1+3y_2-y_3\le 10\\ & & x_1\le 2,x_2\le 2\\ & & y_1\ge 0,y_2\ge 0,y_3\ge 0\\ & & x_1,x_2为整数\end{array}$$

为了方便，改成最小化问题：

$$\begin{array}{rlr}& \min & -4x_1-7x_2-2y_1+3y_2-y_3\\ & s.t.& \\ & & -2x_1-4x_2-4y_1+2y_2-3y_3\ge -12\\ & & -3x_1-5x_2-2y_1-3y_2+y_3\ge -10\\ & & y_1\ge 0,y_2\ge 0,y_3\ge 0\\ & & x_1,x_2为整数且-x_1\ge -2,-x_2\ge -2\end{array}$$

迭代时主要用到 $\mathbf{b},\mathbf{A},\mathbf{B},\mathbf{c},\mathbf{d}$，几个矩阵的取值分别为：

$$b=\left[\begin{array}{r}-12\\ -10\end{array}\right]A=\left[\begin{array}{rl}-2& -4\\ -3& -5\end{array}\right]B=\left[\begin{array}{rlrlr}& -4& 2& & -3\\ & -2& -3& & 1\end{array}\right]c=\left[\begin{array}{r}-4\\ -7\end{array}\right]d=\left[\begin{array}{r}-2\\ 3\\ -1\end{array}\right]$$

它的第二阶段问题 $\varphi (\mathbf{x})$为：
$$\begin{array}{rlrl}& \underset{\mathbf{u}}{\max }& & \varphi (\mathbf{x})=(\mathbf{b}-\mathbf{A}\overline{\mathbf{x}}{)}^{\mathrm{T}}\mathbf{u}\\ & s.t.& & \\ & & & {\mathbf{B}}^{\mathrm{T}}\mathbf{u}\le \mathbf{d}\\ & & & \mathbf{u}\ge 0\end{array}$$

注意：我们假设它的最优值为 $\eta$，即 $\eta =\varphi ({\mathbf{x}}^{\ast })$.

• 第一步

初始化原问题目标函数值的上界 $Z^{ub}$ 为正无穷，下界 $Z^{lb}$ 为负无穷。

由于 master problem 里需要用到 $\eta$ (第二阶段问题 $\varphi (\mathbf{x})$ 的最优值为 $\eta$)，我们随机猜测一个界值。由于第二阶段问题为最大化，随机猜测它的下界为 -200.

master problem BR:
$$\begin{array}{rl}\underset{\mathbf{x}}{\min }& Z^{lb}={\mathbf{c}}^{\mathbf{T}}\mathbf{x}+\eta \\ & \text{cuts}\\ & \mathbf{x}\in {\mathbf{P}}_{\mathbf{X}}\end{array}\text{\hspace{1em}(BR)}$$

对于这个数例，将 $\mathbf{x}$ 的整数约束松弛掉，加入 $\eta$ 的下界，则 BR 为：

$$\begin{array}{rl}\underset{\mathbf{x}}{\min }& Z^{lb}=-4x_1-7x_2+\eta \\ & \eta \ge -200\\ & 0\le x_1\le 2,0\le x_2\le 2\end{array}\text{\hspace{1em}(BR)}$$
此时还没有 cuts 约束。求解上面的线性规划问题，得到：$x_1=2,x_2=2,\eta =-200,Z^{lb}=-222$.

（其实也可以随机初始化一组 $\mathbf{x}$ 值，代入 DSP 问题中求解得到一个初始的 $\eta$ 下界）

• 第二步
  求解 subproblem DSP:
  $$\begin{array}{rlrl}& \underset{\mathbf{u}}{\max }& & (\mathbf{b}-\mathbf{A}\overline{\mathbf{x}}{)}^{\mathrm{T}}\mathbf{u}+{\mathbf{c}}^{\mathrm{T}}\overline{\mathbf{x}}\\ & s.t.& & \\ & & & {\mathbf{B}}^{\mathrm{T}}\mathbf{u}\le \mathbf{d}\\ & & & \mathbf{u}\ge 0\end{array}\text{\hspace{1em}(DSP)}$$

对于此数例，此时 $\overline{\mathbf{x}}=(2,2{)}^{\mathrm{T}}$，DSP 模型具体为：
$$\begin{array}{rlrl}& \underset{\mathbf{u}}{\max }& & 0u_1+6u_2-22\\ & s.t.& & \\ & & & -4u_1-2u_2\le -2\\ & & & 2u_1-3u_2\le 3\\ & & & -3u_1+u_2\le -1\\ & & & u_1\ge 0,u_2\ge 0\end{array}\text{\hspace{1em}(DSP)}$$

该 DSP 问题无界，它的一个极射线为 $v=(1,3{)}^T$，就是其中一个约束条件的方向向量。

添加 feasibility cut:
$${\mathbf{v}}_{\mathbf{t}}^{\mathrm{T}}(\mathbf{b}-\mathbf{Ax})\le 0$$

即：
$$11x_1+19x_2\le 42$$

添加到 BR 问题中，得到：

$$\begin{array}{rl}\underset{\mathbf{x}}{\min }& Z^{lb}=-4x_1-7x_2+\eta \\ & \eta \ge -200\\ & 11x_1+19x_2\le 42\\ & 0\le x_1\le 2,0\le x_2\le 2\end{array}\text{\hspace{1em}(BR)}$$
求解该 BR 问题得到：$\mathbf{x}=(0.36,2{)}^{\mathrm{T}},\eta =-200$，更新下界为 $Z^{lb}=-214.45$.

将 $\mathbf{x}$ 值代入到 DSP 问题中，
$$\begin{array}{rlrl}& \underset{\mathbf{u}}{\max }& & -3.27u_1+1.09u_2-15.45\\ & s.t.& & \\ & & & -4u_1-2u_2\le -2\\ & & & 2u_1-3u_2\le 3\\ & & & -3u_1+u_2\le -1\\ & & & u_1\ge 0,u_2\ge 0\end{array}\text{\hspace{1em}(DSP)}$$

求解得到 $\mathbf{u}=(0.4,0.2{)}^{\mathrm{T}}$， 此时 $\varphi (\mathbf{x})=-3.27u_1+1.09u_2=1.09>\eta =-200$, 需要添加 cut 返回 BR。

添加 optimality cut:
$$(\mathbf{b}-\mathbf{Ax}{)}^{\mathrm{T}}{\mathbf{u}}_{\mathbf{s}}\le \eta$$

也可以令第一个和第三个约束条件取等号得到极点，optimality cut 具体为：
$$\frac{7}{5}{x}_1+\frac{13}{5}{x}_2-\frac{34}{5}\le \eta$$

添加到 BR 中：
$$\begin{array}{rl}\underset{\mathbf{x}}{\min }& Z^{lb}=-4x_1-7x_2+\eta \\ & \eta \ge -200\\ & 11x_1+19x_2\le 42\\ & \frac{7}{5}{x}_1+\frac{13}{5}{x}_2-\frac{34}{5}\le \eta \\ & 0\le x_1\le 2,0\le x_2\le 2\end{array}\text{\hspace{1em}(BR)}$$

得到解 $\mathbf{x}=(2,1.0526{)}^{\mathrm{T}}$, $\eta =-1.26$，更新下界 $Z^{lb}=-16.4$.

代入到DSP 问题中，
$$\begin{array}{rlrl}& \underset{\mathbf{u}}{\max }& & -3.79u_1+1.26u_2-15.37\\ & s.t.& & \\ & & & -4u_1-2u_2\le -2\\ & & & 2u_1-3u_2\le 3\\ & & & -3u_1+u_2\le -1\\ & & & u_1\ge 0,u_2\ge 0\end{array}\text{\hspace{1em}(DSP)}$$

得到 $\mathbf{u}=(0.4,0.2{)}^{\mathrm{T}}$，并且 $\varphi (\mathbf{x})=-3.79u_1+1.26u_2=1.26=\eta$

• 第三步

由于 $\mathbf{x}$ 不为整数值，并且 $\varphi (\mathbf{x})=\eta$，对 $x_2$ 进行分支，

分支 $x_2\le 1$ 添加到 BR 中，
$$\begin{array}{rl}\underset{\mathbf{x}}{\min }& Z^{lb}=-4x_1-7x_2+\eta \\ & \eta \ge -200\\ & 11x_1+19x_2\le 42\\ & \frac{7}{5}{x}_1+\frac{13}{5}{x}_2-\frac{34}{5}\le \eta \\ & 0\le x_1\le 2,0\le x_2\le 2\\ & x_2\le 1\end{array}\text{\hspace{1em}(BR)}$$
得到 $\mathbf{x}=(2,1{)}^{\mathrm{T}}$，$\eta =-1.4$。

代入到 DSP 问题中，
$$\begin{array}{rlrl}& \underset{\mathbf{u}}{\max }& & -4u_1+u_2-15\\ & s.t.& & \\ & & & -4u_1-2u_2\le -2\\ & & & 2u_1-3u_2\le 3\\ & & & -3u_1+u_2\le -1\\ & & & u_1\ge 0,u_2\ge 0\end{array}\text{\hspace{1em}(DSP)}$$

得到 $\mathbf{u}=(0.4,0.2{)}^{\mathrm{T}}$，并且 $\varphi (\mathbf{x})=-4u_1+u_2=-1.4=\eta$ 。由于$\mathbf{x}$ 值可行，可以更新问题的上界，为 DSP 问题的目标函数值，即 $Z^{ub}=-16.4$。发现它与下界 $Z^{lb}$ 一样，这个分支终止，并存储该解。

（感觉由于上下界已经一样，下面的步骤可以不要了）

• 第四步
  分支 $x_2\ge 2$ 添加到 BR 中，
  $$\begin{array}{rl}\underset{\mathbf{x}}{\min }& Z^{lb}=-4x_1-7x_2+\eta \\ & \eta \ge -200\\ & 11x_1+19x_2\le 42\\ & \frac{7}{5}{x}_1+\frac{13}{5}{x}_2-\frac{34}{5}\le \eta \\ & 0\le x_1\le 2,0\le x_2\le 2\\ & x_2\ge 2\end{array}\text{\hspace{1em}(BR)}$$
  得到 $\mathbf{x}=(0.36,2{)}^{\mathrm{T}}$，$\eta =-1.09$， $Z^{lb}=-16.54$。还没有之前的下界好，这个下界不存储。

代入到 DSP 问题中：
$$\begin{array}{rlrl}& \underset{\mathbf{u}}{\max }& & -3.28u_1+1.08u_2-15.44\\ & s.t.& & \\ & & & -4u_1-2u_2\le -2\\ & & & 2u_1-3u_2\le 3\\ & & & -3u_1+u_2\le -1\\ & & & u_1\ge 0,u_2\ge 0\end{array}\text{\hspace{1em}(DSP)}$$

得到极点 $\mathbf{u}=(0.4,0.2{)}^{\mathrm{T}}$，并且 $\varphi (\mathbf{x})=-3.27u_1+1.09u_2=-1.09=\eta$，但是 $\mathbf{x}$ 不是整数解，需要继续分支。

• 第五步

分支 $x_1\le 0$ 添加到 BR 中，
$$\begin{array}{rl}\underset{\mathbf{x}}{\min }& Z^{lb}=-4x_1-7x_2+\eta \\ & \eta \ge -200\\ & 11x_1+19x_2\le 42\\ & \frac{7}{5}{x}_1+\frac{13}{5}{x}_2-\frac{34}{5}\le \eta \\ & 0\le x_1\le 2,0\le x_2\le 2\\ & x_2\ge 2\\ & x_1\le 0\end{array}\text{\hspace{1em}(BR)}$$
得到 $\mathbf{x}=(0,2{)}^{\mathrm{T}}$，$\eta =-1.6$， $Z^{lb}=-15.6$。

代入到 DSP 问题中：
$$\begin{array}{rlrl}& \underset{\mathbf{u}}{\max }& & -4u_1+0u_2-14\\ & s.t.& & \\ & & & -4u_1-2u_2\le -2\\ & & & 2u_1-3u_2\le 3\\ & & & -3u_1+u_2\le -1\\ & & & u_1\ge 0,u_2\ge 0\end{array}\text{\hspace{1em}(DSP)}$$

得到极点 $\mathbf{u}=(0.4,0.2{)}^{\mathrm{T}}$，并且 $\varphi (\mathbf{x})=-1.6=\eta$。存储该解，得到的上界为 -15.6，但是这个上界没有之前的好。

• 第六步
  分支 $x_1\ge 1$ 添加到 BR 中，
  $$\begin{array}{rl}\underset{\mathbf{x}}{\min }& Z^{lb}=-4x_1-7x_2+\eta \\ & \eta \ge -200\\ & 11x_1+19x_2\le 42\\ & \frac{7}{5}{x}_1+\frac{13}{5}{x}_2-\frac{34}{5}\le \eta \\ & 0\le x_1\le 2,0\le x_2\le 2\\ & x_2\ge 2\\ & x_1\ge 1\end{array}\text{\hspace{1em}(BR)}$$

得不到可行解，终止。

综上，最优解为 ${\mathbf{x}}^{\ast }=(2,1{)}^{\mathrm{T}}$，还可以求出 ${\mathbf{y}}^{\ast }=(0.1,0,1.2{)}^{\mathrm{T}}$，最优值 -16.4.

分支定界过程：

上面图片里的目标函数值改为负号。

8. python 代码

上述算例的 python 代码为：

该代码不完善，分支定界没有完全实现，以后再补充。

# -*- coding: utf-8 -*-
"""
Created on Sat Dec 18 20:47:40 2021

@author: zhen chen
@Email: chen.zhen5526@gmail.com

MIT Licence.

Python version: 3.8


Description: use benders method for a numerical example:
    
  max  4x_1+7x_2+2y_1-3y_2+y_3
s.t.
       2x_1+4x_2+4y_1-2y_2+3y_3 <= 12
       3x_1+5x_2+2y_1+3y_2-y_3 <= 10
       x_1 <= 2, x_2 <= 2 
       y_1 >= 0, y_2 >= 0, y_3 >= 0
       x_1, x_2 为整数
    
"""

from gurobipy import *
import numpy as np
import math


# \dsp(x) of the second stage problem, where x is given 
def DSP(x):
    global b 
    global A
    global B
    global c
    global d
    
    n = len(b) # the number of decision varibales in the second stage
    
    try:
        m2 = Model("second-stage")
        u = m2.addMVar(n, vtype=GRB.CONTINUOUS) # gurobi currently support only for 1-D MVar objects, not 2-D
        
        # Set objective
        coe = b - A@x
        
        m2.setObjective(coe @ u, GRB.MAXIMIZE)
        m2.addConstr(B.T @ u <= d)
        
        m2.update()
        #m2.setParam('DualReductions', 0)
        m2.Params.InfUnbdInfo = 1  # or m2.setParam('InfUnbdInfo', 1), Determines whether simplex (and crossover) will compute additional information when a model
                                   # is determined to be infeasible or unbounded
        m2.optimize()
        
        if m2.Status == 5: # model is unbounded
            v = m2.unbdray
            return m2.Status, v # 若无界返回求解状态与基射线
        if m2.Status == 2: # model is optimal
            nita = m2.objVal
            u_value = [u.X[i] for i in range(n)]
            return m2.Status, u_value, nita  # 若有可行解，返回求解状态与可行值
            
        # if m2.Status == 3:
        #     print("Model is infeasible")
        #     m2.computeIIS()
        #     m2.write("model.ilp")
    except GurobiError as e:
        print('Error code ' + str(e.errno) + ": " + str(e))




b = np.array([-12, -10])
A = np.array([[-2, -4], [-3, -5]])
B = np.array([[-4, 2, -3], [-2, -3, 1]])
c = np.array([-4, -7])
d = np.array([-2, 3, -1])
DSP([1, 1])
    
try:     
    z_ub = GRB.INFINITY
    z_lb = -GRB.INFINITY
    
    # initialize a lower bound for second stage problem
    nita_lb = -200 
    
    n = len(c) # the number of decision varibales in the first stage
    m1 = Model("first-stage")
    x = m1.addMVar(n, ub = 2, vtype=GRB.CONTINUOUS) # gurobi currently support only for 1-D MVar objects, not 2-D
    nita = m1.addMVar(1, lb = -GRB.INFINITY, vtype=GRB.CONTINUOUS)
    
    m1.addConstr(nita >= nita_lb)
    m1.setObjective(c @ x + nita, GRB.MINIMIZE)
    m1.optimize()
    
    x_value = [x.X[i] for i in range(n)]
    z_lb = m1.objVal
    
    last_nita_value = -GRB.INFINITY # nita 的一个初始值，若迭代时 nita 的值不发生变化，则开始分支定界
    all_integer = [False for i in range(n)] # 判断决策变量是不是整数型
    while abs(z_ub - z_lb) > 1e-6:
        result = DSP(x_value)
        if result[0] == 5: # 无界
            ray = result[1]
            m1.addConstr(ray@b - ray@A@x <= 0) # 添加 feasibility cut
            
            m1.update()
            m1.optimize()
            x_value = [x.X[i] for i in range(n)]
            z_lb = m1.objVal           
            print()
        if result[0] == 2: # 可行解
            u_value = result[1]
            nita_value = result[2]
            if abs(last_nita_value - nita_value) < 1e-6: # 开始分支定界
                for i in range(n):
                    if abs(x_value[i] - math.floor(x_value[i])) < 1e-6:
                        all_integer[i] = True
                    else:        
                        # 这里面的分支定界目前是不完善的，编程实现分支定界要用到递归，
                        # 即模型不断调用自己
                        m1.addConstr(x[i] <= math.floor(x_value[i]))
                        break
                if sum(all_integer) == n:
                    z_ub = c @ x_value + nita_value
                    if abs(z_ub - z_lb) < 1e-6:
                        print('Obj: %g' % m1.objVal)
                        print('x = ')
                        print(x_value)
                        break
                               
            m1.addConstr(b@u_value - u_value@A@x <= nita) # 添加 optimality cut

            m1.update()            
            m1.optimize()
            x_value = [x.X[i] for i in range(n)]
            z_lb = m1.objVal
            last_nita_value = nita.X[0]  
    
    
except GurobiError as e:
    print('Error code ' + str(e.errno) + ": " + str(e))

except AttributeError:
    print('Encountered an attribute error')

参考文献^{12 3}

---

1. Laurence A. Wolsey - Integer programming, (2021), Second Edition ↩︎

2. https://bookdown.org/edxu96/matrixoptim/benders-for-standard-milp.html ↩︎

3. Bertsimas, Dimitris, and John N. Tsitsiklis. Introduction to linear optimization. Vol. 6. Belmont, MA: Athena Scientific, 1997. ↩︎