高级优化理论与方法（十二）

LP

Duality of LP

Week LP Duality Theorem

$\forall x,y:c^{T}x\ge y^{T}b$

Strong LP Duality Theorem

Thm: Suppose that $x^{\ast }$ and $y^{\ast }$ are feasible solutions to the primal and dual, respectively. If $c^T{x}^{\ast }={y^{\ast }}^{T}b$, then $x^{\ast },y^{\ast }$ are optimal.

Corollary

If the primal has an optimal solutions, then so does the dual, and the optimal values are equal.

Complementary Slackness Condition

Thm: The feasible solutions $x$ and $y$ to a duality pair are optimal, if and only if $\{\begin{array}{l}(c^T-y^{T}A)x=0\\ y^T(Ax-b)=0\end{array}$

Remarks

$(c^T-y^{T}A)x=0\Rightarrow \{\begin{array}{l}{x}_i>0\text{implies}{y}^T{a}_i=c_i\\ y^T{a}_i<c_i\text{implies}{x}_i=0\end{array}$

Example

26 dollars to purchase gold.

vendor	1	2	3	4
dollar/once	$\frac{1}{2}$	1	$\frac{1}{7}$	$\frac{1}{4}$

Define $x_i=$dollars spent at vendor $i$
max $2x_1+x_2+7x_3+4x_4\stackrel{\Delta }{=}\text{min}-2x_1-x_2-7x_3-4x_4$
s.t. $x_1+x_2+x_3+x_4=26$
$x_1,\cdots ,x_4\ge 0$

max $26y$
s.t. $y\le -2$
$y\le -1$
$y\le -7$
$y\le -4$

$\Rightarrow y^{\ast }=-7$

$c^T-y^{T}A=[-2,-1,-7,-4]-(-7)[1,1,1,1]=[5,6,0,3]$
$\Rightarrow x^{\ast }=[0,0,26,0]$

Non-Simplex Methods

1972: Klee-Minty构造了一个例子，使得单纯形法的时间复杂度达到了$O(n^m)$，使得人们怀疑线性规划问题是否是P问题。

1979: Khachiyan发明了一个新算法，其时间复杂度达到了$O(n^4{L}_1)$。$L_1$: accuracy of computation。从而证明了线性规划问题确实属于P问题。

1984: Karmarkar发明了一个新算法，时间复杂度达到了$O(n^{3.5}L)$，不仅算法比Khachiyan的算法效率高，而且算法更为简单。

Khachiyan (Ellipsoid)

min $c^{T}x$
s.t. $Ax\ge b$
$x\ge 0$

max $y^{T}b$
s.t. $y^{T}A\le c^T$
$y\ge 0$

$\Rightarrow [x,y]\in {\mathbb{R}}^{n+m}$
s.t. $c^{T}x=y^{T}b$
$Ax\ge b$
$y^{T}A\le c^T$
$x\ge 0$
$y\ge 0$

$\Rightarrow [x,y]\in {\mathbb{R}}^{n+m}$
s.t. $c^{T}x-y^{T}b\ge 0$
$y^{T}b-c^{T}x\ge 0$
$Ax\ge b$
$x\ge 0$
$y\ge 0$
$-y^{T}A\ge -c^T$

$\Rightarrow \left[\begin{array}{cc}{c}^T& -b^T\\ -c^T& b^T\\ A& 0\\ I_n& 0\\ 0& I_m\\ 0& -A\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ b\\ 0\\ 0\\ -c\end{array}\right]$

$\Rightarrow Ax\ge b$

$\Rightarrow \forall i:a_i^{T}x\ge b_i$

Basic idea: 为了找到包含满足限制条件的区域，构造椭球，并通过迭代的方式一步步缩小椭球的体积，知道找到目标区域。

Karmarkar (Interior point)

Canonical Form:
min $c^{T}x$
s.t. $Ax=0$
$\sum x_i=1$
$x\ge 0$

该方法也是通过迭代的方式来找到目标区域。由于跟本课程关系不大，所以此处不展开讲。

Integer Linear Programming (ILP)

min $c^{T}x$
s.t. $Ax\ge b$
$x\ge 0$
$x\in \mathbb{Z}$

ILP在LP的基础上加上了$x\in \mathbb{Z}$的要求，使得求解难度提升了一个档次。一个比较简单的想法是先求出LP问题的解，再通过某种方法四舍五入一下，但很容易举出反例，简单的四舍五入不一定是问题的答案。目前证明了ILP问题是NP-hard问题，没有多项式时间解法，而LP是P问题，这也将ILP和LP划分为了两个完全不同的难度。

Unimodular Matrix

Definition

Def: Minor: determinant of a square submatrix of $A\in {\mathbb{R}}^{m\times n}$

A p-th order minor: $p\times p$-submatrix $x$

Def: Unimodular: all its nonzero m-th minors=$\pm 1$

注：minor意为余子式，unimodular matrix意为幺模矩阵。

Lemma

If a linear equation $Ax=b$ with $A\in {\mathbb{Z}}^{m\times n},m\le n$, and $b\in {\mathbb{Z}}^m$ satisfies $A$ being unimodular, then all basic solutions are integer vectors.

Corollary

If $\{\begin{array}{l}Ax=b\\ x\ge 0\end{array}$ where $A$ unimodular, then all basic feasible solutions are integral.

Definition

totally unimodular: if all its nonzero minors=$\pm 1$. ( A ∈ { 0 , − 1 , 1 } m × n A\in \{0,-1,1\}^{m\times n} A∈{0,−1,1}m×n)
注：totally unimodular matrix意为全幺模矩阵。

Property

$A$ totally unimodular $\Rightarrow [A,I]$ unimodular

Heuristic for Solving ILP

Branch&Bound

分支定界法
min $c^{T}x$
s.t. $Ax\ge b$
$x\ge 0$
$x\in {\mathbb{Z}}^n$

$\stackrel{\text{relaxtion}}{⟹}$min $c^{T}x$
s.t. $Ax=b$
$x\ge 0$

$\Rightarrow x^{\ast }$

$\exists i:x_i^{\ast }\notin \mathbb{Z}$

$\Rightarrow$min $c^{T}x$
s.t. $Ax=b$
$x\ge 0$
$x_i\le \lfloor x_i^{\ast }\rfloor$

and

min $c^{T}x$
s.t. $Ax=b$
$x\ge 0$
$x_i\ge \lceil x_i^{\ast }\rceil$

再重复此过程，直到$x\in {\mathbb{Z}}^n$

Gomory Cut

切平面法，该方法于1958年提出，通过切割平面的方法，使得非整数解不会出现在切割后的平面中，于是不断切割平面就能得到整数解。

relax: min $c^{T}x$
s.t. $Ax=b$
$x\ge 0$

$A\in {\mathbb{Z}}^{m\times n},b\in {\mathbb{Z}}^m$

$a_1$	$a_2$	$\cdots$	$a_m$	$a_{m+1}$	$\cdots$	$a_n$	b
1	0	$\cdots$	0	$y_{1,m+1}$	$\cdots$	$y_{1,n}$	$y_{1,0}$
0	1	$\cdots$	0	$y_{2,m+1}$	$\cdots$	$y_{2,n}$	$y_{2,0}$
$⋮$	$⋮$	$\ddots$	$⋮$	$⋮$	$\ddots$	$⋮$	$⋮$
0	0	$\cdots$	1	$y_{m,n+1}$	$\cdots$	$y_{m,n}$	$y_{m,0}$

If $y_0\in {\mathbb{Z}}^m$, then done!

If $\exists i:y_{i,0}\notin \mathbb{Z}:\exists$ feasible solution $x=[x_1,\cdots ,x_n]:x_i+{\sum }_{j=m+1}^n{y}_{i,j}{x}_j=y_{i,0}$

consider: $x_i+{\sum }_{j=m+1}^n\lfloor y_{i,j}\rfloor x_j\le y_{i,0}$ valid for all $x$
$x_i+{\sum }_{j=m+1}^n\lfloor y_{i,j}\rfloor x_j\le \lfloor y_{i,0}\rfloor$ valid for all $x$

Add ${\sum }_{j=m+1}^n(y_{i,j}-\lfloor y_{i,j}\rfloor )x_i-x_{n+1}=y_{i,0}-\lfloor y_{i,0}\rfloor$ to $Ax=b$. $x_{n+1}\ge 0$ to $x\ge 0$.

Example

max $3x_1+4x_2$
s.t. $3x_1-x_2\le 12$
$3x_1+11x_2\le 66$
$x_1,x_2\ge 0$
$x_1,x_2\in \mathbb{Z}$

$\Rightarrow$ min $-3x_1-4x_2$
s.t. $3x_1-x_2+x_3=12$
$3x_1+11x_2+x_4=66$
$x_1,x_2,x_3,x_4\ge 0$

$a_1$	$a_2$	$a_3$	$a_4$	$b$
3	-1	1	0	12
3	11	0	1	66
-3	-4	0	0	0

$\Rightarrow$

$a_1$	$a_2$	$a_3$	$a_4$	$b$
1	0	$\frac{11}{36}$	$\frac{1}{36}$	$\frac{11}{2}$
0	1	-$\frac{1}{12}$	$\frac{1}{12}$	$\frac{9}{2}$
0	0	$\frac{7}{12}$	$\frac{5}{12}$	$\frac{69}{2}$

$x_1^{\ast }=\frac{11}{2},x_2^{\ast }=\frac{9}{2}$

$\forall x:x_1+\frac{11}{36}{x}_3+\frac{1}{36}{x}_4=\frac{11}{2}$
$\frac{11}{36}{x}_3+\frac{1}{36}{x}_4\ge \frac{1}{2}\Rightarrow \frac{11}{36}{x}_3+\frac{1}{36}{x}_4-x_5=\frac{1}{2}$

$a_1$	$a_2$	$a_3$	$a_4$	$a_5$	$b$
1	0	$\frac{11}{36}$	$\frac{1}{36}$	0	$\frac{11}{2}$
0	1	-$\frac{1}{12}$	$\frac{1}{12}$	0	$\frac{9}{2}$
0	0	$\frac{11}{36}$	$\frac{1}{36}$	-1	$\frac{1}{2}$
0	0	$\frac{7}{12}$	$\frac{5}{12}$	-1	$\frac{69}{2}$

$\stackrel{\text{simplex}}{⟹}$

$a_1$	$a_2$	$a_3$	$a_4$	$a_5$	$b$
1	0	0	0	1	5
0	1	0	$\frac{1}{11}$	-$\frac{3}{11}$	$\frac{51}{11}$
0	0	1	$\frac{1}{11}$	-$\frac{36}{11}$	$\frac{18}{11}$
0	0	0	$\frac{4}{11}$	$\frac{21}{11}$	$\frac{369}{11}$

$x^{\ast }:x_1^{\ast }=5,x_2^{\ast }=\frac{51}{11},x_3^{\ast }=\frac{18}{11}$

$\frac{1}{11}{x}_4+\frac{8}{11}{x}_5-x_6=\frac{7}{11}$

后面还有几步，就是重复切平面的过程，此处省略。

总结

在线性规划的部分，先讲了上节课没讲完的单纯形法的对偶理论，以及互补松弛条件。然后简要介绍了两个非单纯形法的线性规划解法，Khachiyan的椭球法和Karmarkar的内点法，由于与课程关联不大，这里并没有展开讲解。最后重点讲了整数线性规划，介绍了一些定义和理论基础，然后介绍了两个算法，分支定界法和切平面法。