优化 | 线性化：含绝对值的线性化

作者：刘兴禄， 清华大学

清华-伯克利深圳学院，博士在读

欢迎关注我们的微信公众号 运小筹

非线性整数规划模型

考虑下面的非线性整数规划

$$\begin{array}{rl}\max & 2|x_1|+|x_2|\\ s.t.& |x_1|+2|x_2|⩽8\\ & -5⩽x_1,x_2⩽5\end{array}$$

Gurobi求解代码

from gurobipy import * 
model = Model('non-linear model')
x1 = model.addVar(lb=-5, ub=5, vtype=GRB.CONTINUOUS, name='x1')
x2 = model.addVar(lb=-5, ub=5, vtype=GRB.CONTINUOUS, name='x2')
x1_abs = model.addVar(lb=0, ub=5, vtype=GRB.CONTINUOUS, name='x1_abs')
x2_abs = model.addVar(lb=0, ub=5, vtype=GRB.CONTINUOUS, name='x2_abs')

model.setObjective(2 * x1_abs  + x2_abs, GRB.MAXIMIZE)
model.addConstr(x1_abs + 2*x2_abs <= 8)
model.addGenConstrAbs(x1_abs, x1)
model.addGenConstrAbs(x2_abs, x2)

model.optimize() 

print('x1:', x1.x)
print('x2:', x2.x)
print('x1_abs:', x1_abs.x)
print('x2_abs:', x2_abs.x)

求解结果

Solution count 1: 11.5 

Optimal solution found (tolerance 1.00e-04)
Best objective 1.150000000000e+01, best bound 1.150000000000e+01, gap 0.0000%
x1: 5.0
x2: 1.5
x1_abs: 5.0
x2_abs: 1.5

绝对值的线性化技巧

我们引入两组辅助变量$x_i^{+},x_i^{-},\forall i=1,2$。其中
x i + = max ⁡ { 0 , x i } x i − = max ⁡ { 0 , − x i } \begin{aligned} &x_i^{+} = \max\{0, x_i\} \\ &x_i^{-} = \max\{0, -x_i\} \end{aligned} ​xi+​=max{0,xi​}xi−​=max{0,−xi​}​
因此，就有
$$\begin{array}{rl}& x_i=x_i^{+}-x_i^{-}\\ & |x_i|=x_i^{+}+x_i^{-}\end{array}$$

这个比较容易理解，例如$x_i=-0.5$， 则$x_i^{+}=0,x_i^{-}=0.5$， 因此有
$x_i=x_i^{+}-x_i^{-}=0-0.5=-0.5$；
$|x_i|=x_i^{+}+x_i^{-}=0+0.5=0.5$。

拓展
之前的推文中，有小伙伴纠结这个转化是否等价。一个肯定的回答是：完全等价。
这里我给出证明：

命题：
x + = max ⁡ { 0 , x }    ( 1 ) x − = max ⁡ { 0 , − x }    ( 2 ) \begin{aligned} &x^+=\max \left\{ 0,x \right\} \,\, \left( 1 \right) \\ &x^-=\max \left\{ 0,-x \right\} \,\, \left( 2 \right) \end{aligned} ​x+=max{0,x}(1)x−=max{0,−x}(2)​
和
$$\begin{array}{rl}& x=x^{+}-x^{-}\left(3\right)\\ & |x|=x^{+}+x^{-}\left(4\right)\end{array}$$
互为充要条件。

证明：
充分性：根据(1)(2)，我们有
$$\begin{array}{rl}& x=x^{+}-x^{-}\left(3\right)\\ & |x|=x^{+}+x^{-}\left(4\right)\end{array}$$
充分性得证
必要性： 根据(3)(4)我们有
( 3 ) + ( 4 ) = x + ∣ x ∣ = 2 x +    →    x + = x + ∣ x ∣ 2 ( 3 ) − ( 4 ) = x − ∣ x ∣ = − 2 x −    →    x − = − x − ∣ x ∣ 2 情况一： i f    x ⩾ 0 , x + = x + ∣ x ∣ 2 = x + x 2 = x = max ⁡ { 0 , x } x − = − x − ∣ x ∣ 2 = − x − x 2 = 0 = max ⁡ { 0 , − x } 情况二： i f    x ⩽ 0 , x + = x + ∣ x ∣ 2 = x − x 2 = 0 = max ⁡ { 0 , x } x − = − x − ∣ x ∣ 2 = − x − ( − x ) 2 = − 2 x 2 = − x = max ⁡ { 0 , − x } \begin{aligned} &\left( 3 \right) +\left( 4 \right) =x+|x|=2x^+\,\, \rightarrow \,\,x^+=\frac{x+|x|}{2} \\ &\left( 3 \right) -\left( 4 \right) =x-|x|=-2x^-\,\, \rightarrow \,\,x^-=-\frac{x-|x|}{2} \\ &\text{情况一：}if\,\,x\geqslant 0, x^+=\frac{x+|x|}{2}=\frac{x+x}{2}=x=\max \left\{ 0,x \right\} \\ &x^-=-\frac{x-|x|}{2}=-\frac{x-x}{2}=0=\max \left\{ 0,-x \right\} \\ &\text{情况二：}if\,\,x\leqslant 0, x^+=\frac{x+|x|}{2}=\frac{x-x}{2}=0=\max \left\{ 0,x \right\} \\ &x^-=-\frac{x-|x|}{2}=-\frac{x-\left( -x \right)}{2}=-\frac{2x}{2}=-x=\max \left\{ 0,-x \right\} \end{aligned} ​(3)+(4)=x+∣x∣=2x+→x+=2x+∣x∣​(3)−(4)=x−∣x∣=−2x−→x−=−2x−∣x∣​情况一：ifx⩾0,x+=2x+∣x∣​=2x+x​=x=max{0,x}x−=−2x−∣x∣​=−2x−x​=0=max{0,−x}情况二：ifx⩽0,x+=2x+∣x∣​=2x−x​=0=max{0,x}x−=−2x−∣x∣​=−2x−(−x)​=−22x​=−x=max{0,−x}​
因此，必要性得证。
综上，(1)(2)和(3)(4)互为充要条件，以上转化完全等价。

利用上面的技巧进行线性化

• 我们根据

我们引入两组辅助变量$x_i^{+},x_i^{-},\forall i=1,2$。其中
x i + = max ⁡ { 0 , x i } x i − = max ⁡ { 0 , − x i } \begin{aligned} &x_i^{+} = \max\{0, x_i\} \\ &x_i^{-} = \max\{0, -x_i\} \end{aligned} ​xi+​=max{0,xi​}xi−​=max{0,−xi​}​
因此，就有
$$\begin{array}{rl}& x_i=x_i^{+}-x_i^{-}\\ & |x_i|=x_i^{+}+x_i^{-}\end{array}$$

• 由于目标函数为$\max$，因此还需要引入$x_1^{\text{abs}}$和$x_2^{\text{abs}}$来辅助，否则会出现：
• $x_1=0,x_1^{+}=5,x_1^{-}=5$， 也满足$x_1=x_1^{+}-x_1^{-}$
• 因此需要把$|x_i|=x_i^{+}+x_i^{-}$的部分也引入。

如果目标函数是$\min |x|$，我们可以引入辅助变量$y$，并且加入约束
$$\begin{array}{rl}& y⩾x\\ & y⩾-x\end{array}$$
然后把目标改为（也就是完整形式）
$$\begin{array}{rl}\min y& \\ s.t.& y⩾x\\ & y⩾-x\end{array}$$
即可。 但是如果目标是$\max$的形式，上述情况不再适用。就可以用本文的方法。

得到，原模型可以线性化为

$$\begin{array}{rl}\max & 2(x_1^{+}+x_1^{-})+(x_2^{+}+x_2^{-})\\ s.t.& (x_1^{+}+x_1^{-})+2(x_2^{+}+x_2^{-})⩽8\\ & x_1=x_1^{+}-x_1^{-}\\ & x_2=x_2^{+}-x_2^{-}\\ & x_1^{\text{abs}}=x_1^{+}+x_1^{-}\\ & x_2^{\text{abs}}=x_2^{+}+x_2^{-}\\ & x_1^{\text{abs}}⩾x_1\\ & x_1^{\text{abs}}⩾-x_1\\ & x_2^{\text{abs}}⩾x_2\\ & x_2^{\text{abs}}⩾-x_2\\ & -5⩽x_1,x_2⩽5\\ & 0⩽x_i^{+},x_i^{-},x_i^{\text{abs}}⩽5,\forall i=1,2\end{array}$$

下面我们用代码进行验证。

from gurobipy import * 
model = Model('non-linear model')
x1 = model.addVar(lb=-5, ub=5, vtype=GRB.CONTINUOUS, name='x1')
x2 = model.addVar(lb=-5, ub=5, vtype=GRB.CONTINUOUS, name='x2')
x1_pos_abs = model.addVar(lb=0, ub=5, vtype=GRB.CONTINUOUS, name='x1_pos_abs')
x1_neg_abs = model.addVar(lb=0, ub=5, vtype=GRB.CONTINUOUS, name='x1_neg_abs')
x2_pos_abs = model.addVar(lb=0, ub=5, vtype=GRB.CONTINUOUS, name='x2_pos_abs')
x2_neg_abs = model.addVar(lb=0, ub=5, vtype=GRB.CONTINUOUS, name='x2_neg_abs')
x1_abs = model.addVar(lb=0, ub=5, vtype=GRB.CONTINUOUS, name='x1_abs')
x2_abs = model.addVar(lb=0, ub=5, vtype=GRB.CONTINUOUS, name='x2_abs')

model.setObjective(2*(x1_pos_abs + x1_neg_abs) + (x2_pos_abs + x2_neg_abs), GRB.MAXIMIZE) 
model.addConstr((x1_pos_abs + x1_neg_abs) + 2*(x2_pos_abs + x2_neg_abs) <= 8)
model.addConstr(x1 == x1_pos_abs - x1_neg_abs)
model.addConstr(x2 == x2_pos_abs - x2_neg_abs)
model.addConstr(x1_abs == x1_pos_abs + x1_neg_abs)
model.addConstr(x2_abs == x2_pos_abs + x2_neg_abs)
model.addConstr(x1_abs >= x1)
model.addConstr(x1_abs >= -x1) 
model.addConstr(x2_abs >= x2)
model.addConstr(x2_abs >= -x2) 

model.optimize() 


print('x1:', x1.x) 
print('x2:', x2.x)
print('x1_pos_abs:', x1_pos_abs.x) 
print('x1_neg_abs:', x1_neg_abs.x)
print('x2_pos_abs:', x2_pos_abs.x) 
print('x2_neg_abs:', x2_neg_abs.x)

求解结果为

Iteration    Objective       Primal Inf.    Dual Inf.      Time
       0    1.6000000e+01   3.000000e+00   0.000000e+00      0s
       2    1.1500000e+01   0.000000e+00   0.000000e+00      0s

Solved in 2 iterations and 0.01 seconds
Optimal objective  1.150000000e+01
x1: 5.0
x2: 1.5
x1_pos_abs: 5.0
x1_neg_abs: 0.0
x2_pos_abs: 1.5
x2_neg_abs: 0.0

可见结果是一致的。

注意，如果约束里有一个不是绝对值，会出错的。经过了测试$x_1+2|x_2|⩽8$，上述引入了$x_1^{\text{abs}}$的方法也是等价的。

• 但是，下面的情形是不等价的，如果是 $$\begin{array}{rl}\max & 2|x_1|+|x_2|\\ s.t.& x_1+2|x_2|⩽8\\ & -5⩽x_1,x_2⩽5\end{array}$$
  然后我们转化成
  $$\begin{array}{rl}\max & 2(x_1^{+}+x_1^{-})+(x_2^{+}+x_2^{-})\\ s.t.& x_1+2(x_2^{+}+x_2^{-})⩽8\\ & x_1=x_1^{+}-x_1^{-}\\ & x_2=x_2^{+}-x_2^{-}(\text{可以删去})\\ & -5⩽x_1,x_2⩽5\\ & 0⩽x_i^{+},x_i^{-}⩽5,\forall i=1,2\end{array}$$
  这个是不等价的。可以自行验证。这样的话，会出现$x_1=0,x_1^{+}=5,x_1^{-}=5$， 也满足$x_1=x_1^{+}-x_1^{-}$。

总结

含有绝对值形式的线性化。

• 情况1： 目标函数为$\min$，例如
  $$\begin{array}{rl}\min & |x|\\ & x⩾0\end{array}$$
  则可以引入辅助变量$y$，用下面的形式等价线性化
  $$\begin{array}{rl}\min y& \\ s.t.& y⩾x\\ & y⩾-x\end{array}$$

• 情况2： 目标函数为$\max$
• 例如下面
  $$\begin{array}{rl}\max & 2|x_1|+|x_2|\\ s.t.& |x_1|+2|x_2|⩽8\\ & -5⩽x_1,x_2⩽5\end{array}$$
  则需要引入两组辅助变量$x_i^{+},x_i^{-},\forall i=1,2$。其中
  x i + = max ⁡ { 0 , x i } x i − = max ⁡ { 0 , − x i } \begin{aligned} &x_i^{+} = \max\{0, x_i\} \\ &x_i^{-} = \max\{0, -x_i\} \end{aligned} ​xi+​=max{0,xi​}xi−​=max{0,−xi​}​
  因此，就有
  $$\begin{array}{rl}& x_i=x_i^{+}-x_i^{-}\\ & |x_i|=x_i^{+}+x_i^{-}\end{array}$$
  最终变化为
  $$\begin{array}{rl}\max & 2(x_1^{+}+x_1^{-})+(x_2^{+}+x_2^{-})\\ s.t.& (x_1^{+}+x_1^{-})+2(x_2^{+}+x_2^{-})⩽8\\ & x_1=x_1^{+}-x_1^{-}\\ & x_2=x_2^{+}-x_2^{-}\\ & x_1^{\text{abs}}=x_1^{+}+x_1^{-}\\ & x_2^{\text{abs}}=x_2^{+}+x_2^{-}\\ & x_1^{\text{abs}}⩾x_1\\ & x_1^{\text{abs}}⩾-x_1\\ & x_2^{\text{abs}}⩾x_2\\ & x_2^{\text{abs}}⩾-x_2\\ & -5⩽x_1,x_2⩽5\\ & 0⩽x_i^{+},x_i^{-},x_i^{\text{abs}}⩽5,\forall i=1,2\end{array}$$
  注意：在一些特定 的情况下，表示绝对值的辅助变量$x_i^{\text{abs}}$也是可以不引入的，也同样可以保证等价。主要看对应的约束和目标函数是否能够在共同的耦合下，使得$x_1=0,x_1^{+}=5,x_1^{-}=5$， 此时$x_1=x_1^{+}-x_1^{-}$，但是$|x_1|\ne x_1^{+}+x_1^{-}$的这种情况出现。

---

欢迎关注我们的微信公众号 运小筹

公众号往期推文如下