线性规划中的对偶（Duality in linear programs）

总目录

一、 凸优化基础（Convex Optimization basics）

1. 凸优化基础（Convex Optimization basics）

二、 一阶梯度方法（First-order methods）

1. 梯度下降（Gradient Descent）
2. 次梯度（Subgradients）
3. 近端梯度法（Proximal Gradient Descent）
4. 随机梯度下降（Stochastic gradient descent）

三、对偶

1. 线性规划中的对偶（Duality in linear programs）
2. 凸优化中的对偶（Duality in General Programs）
3. KKT条件（Karush-Kuhn-Tucker Conditions）
4. 对偶的应用及拓展（Duality Uses and Correspondences）
5. 对偶方法（Dual Methods）
6. 交替方向乘子法（Alternating Direction Method of Multipliers）

Introduction

对偶（duality）是优化中的一个重要概念，当原问题的最小值很难求解时，我们常常将其变为对偶形式，通过求解对偶问题的最大值，从而得到原问题的最优解。我们从最简单的线性规划问题入手来介绍对偶的概念。

线性规划的下界

假设我们想要寻找一个凸优化问题的下界（lower bound），即寻找$B\le {\min }_{x}f(x)$。
以线性规划（LP）问题为例，考虑一个简单的LP问题：
$$\begin{array}{r}\underset{x,y}{\min }x+y\\ subjecttox+y\ge 2\\ x,y\ge 0\end{array}$$

很明显，该问题的下界为$B=2$。
那么考虑更一般的形式，如：
$$\begin{array}{r}\underset{x,y}{\min }px+qy\\ subjecttox+y\ge 2\\ x,y\ge 0\end{array}$$

那么对于任意$a,b,c\ge 0$，都有$px+qy=(a+b)x+(a+c)y=(ax+ay)+bx+by\ge 2a$。
既然我们找到了该问题的下界，那么最小化该问题就可以转化为最大化该问题的下界。即原问题变为：
$$\begin{array}{r}\underset{a,b,c}{\min }2a\\ subjecttoa+b=p\\ a+c=q\\ a,b,c\ge 0\end{array}$$

我们把上面的形式称为原问题（primal LP）的对偶（dual LP）。注意到对偶变量的数量等于原问题的约束条件数目（这里都为3）。

线性规划的对偶

考虑一般形式的LP问题，给定$c\in R^n,A\in R^{m\times n},b\in R^m,G\in R^{r\times n},h\in R^r$，
$$\begin{array}{r}\underset{x}{\min }{c}^{T}x\\ subjecttoAx=b\\ Gx\le h\end{array}$$

其对偶问题为：
$$\begin{array}{rl}\underset{u,v}{\min }& -b^{T}u-h^{T}v\\ subjectto& -A^{T}u-G^{T}v=c\\ & v\ge 0\end{array}$$

解释：对于任意$u$和$v\ge 0$，
$$\begin{gathered} u^T(Ax-b)+v^T(Gx-h)\le 0 \\ \iff (-A^{T}u-G^{T}v{)}^{T}x\ge -b^{T}u-h^{T}v \end{gathered}$$

所以如果令$c=-A^{T}u-G^{T}v$，那么我们就可以得到原问题的一个下界。

例子：最大流最小割（max flow and min cut）
给定一个图$G=(V,E)$，定义流（flow）$f_{ij},(i,j)\in E$满足：

• $f_{ij}\ge 0,(i,j)\in E$ （所有流都是正的）
• $f_{ij}\le c_{ij},(i,j)\in E$ （所有流都是有限的）
• $$\begin{gathered} {\sum }_{(i,k)\in E}{f}_{ik}={\sum }_{(k,j)\in E}{f}_{kj},k\in V \\ s,t \end{gathered}$$ （除了始末节点外，流入某个节点的所有流等于流出该节点的所有流）

最大流问题：找到从$s$流向$t$的所有流的最大值。这是一个LP问题：
max ⁡ f ∈ R ∣ E ∣ ∑ ( s , j ) ∈ E f s j s u b j e c t   t o 0 ≤ f i j ≤ c i j f o r   a l l   ( i , j ) ∈ E ∑ ( i , k ) ∈ E f i k = ∑ ( k , j ) ∈ E f k j f o r   a l l   k ∈ V \ { s , t } \begin{aligned} \max_{f\in R^{|E|}}\quad &\sum_{(s,j)\in E}f_{sj}\\ subject\ to\quad &0\leq f_{ij}\leq c_{ij}\quad for\ all\ (i,j)\in E\\ &\sum_{(i,k)\in E}f_{ik}=\sum_{(k,j)\in E}f_{kj}\quad for\ all\ k\in V\backslash \{s,t\}\\ \end{aligned} f∈R∣E∣max​subject to​(s,j)∈E∑​fsj​0≤fij​≤cij​for all (i,j)∈E(i,k)∈E∑​fik​=(k,j)∈E∑​fkj​for all k∈V\{s,t}​

求其对偶形式：
∑ ( i . j ) ∈ E ( − a i j f i j + b i j ( f i j − c i j ) ) + ∑ k ∈ V \ { s , t } x k ( ∑ ( i , k ) ∈ E f i k − ∑ ( k , j ) ∈ E f k j ) ≤ 0 \sum_{(i.j)\in E}(-a_{ij}f_{ij}+b_{ij}(f_{ij}-c_{ij}))+\sum_{k\in V\backslash\{s,t\}}x_k(\sum_{(i,k)\in E}f_{ik}-\sum_{(k,j)\in E}f_{kj})\leq 0 (i.j)∈E∑​(−aij​fij​+bij​(fij​−cij​))+k∈V\{s,t}∑​xk​((i,k)∈E∑​fik​−(k,j)∈E∑​fkj​)≤0

f o r   a n y   a i j , b i j ≥ 0 , ( i , j ) ∈ E ,   a n d   x k , k ∈ V \ { s , t } for\ any\ a_{ij},b_{ij}\geq 0, (i,j)\in E,\ and\ x_k,k\in V\backslash\{s,t\} for any aij​,bij​≥0,(i,j)∈E, and xk​,k∈V\{s,t}

重新整理可得：
$$\sum _{(i,j)\in E}{M}_{ij}(a,b,x)f_{ij}\le \sum _{(i,j)\in E}{b}_{ij}{c}_{ij}$$

其中$M_{ij}(a,b,x)$表示所有与$f_{ij}$相乘的项。
那么对偶问题可以表示为：
$$\begin{array}{rl}\underset{b\in R^{|E|},x\in R^{|V|}}{\min }& \sum _{(i,j)\in E}{b}_{ij}{c}_{ij}\\ subjectto& b_{ij}+x_j-x_i\ge 0forall(i,j)\in E\\ & b\ge 0,x_s=1,x_t=0\end{array}$$

假设对于所有$i\in V$，$x_i$只能取0或1，那么只有在$x_i=1$且$x_j=0$时，$b_{ij}=1$，否则为0。那么目标函数${\sum }_{(i,j)\in E}{b}_{ij}{c}_{ij}$就是在求解有哪些路径会被切断。因此原最大流问题就变成了线性规划松弛的最小割(min cut)问题：
min ⁡ b ∈ R ∣ E ∣ , x ∈ R ∣ V ∣ ∑ ( i , j ) ∈ E b i j c i j s u b j e c t   t o b i j ≥ x i − x j b i j , x i , x j ∈ { 0 , 1 }   f o r   a l l   i , j \begin{aligned} \min_{b\in R^{|E|},x\in R^{|V|}}\quad &\sum_{(i,j)\in E}b_{ij}c_{ij}\\ subject\ to\quad &b_{ij}\geq x_i-x_j\\ &b_{ij}, x_i, x_j\in \{0,1\}\ for\ all\ i,j\\ \end{aligned} b∈R∣E∣,x∈R∣V∣min​subject to​(i,j)∈E∑​bij​cij​bij​≥xi​−xj​bij​,xi​,xj​∈{0,1} for all i,j​

从上面的分析可以看出：
最大流的值$\le$LP松弛的最小割问题的最优解$\le$最小割的容量
而根据最大流最小割定理，通过一个网络的最大流的值就等于最小割的容量。即上面公式全部取等号。这种原问题和对偶问题有相同的最优值的情况称为强对偶（strong duality）。

LP对偶的另一种视角

对于LP问题的对偶形式的另一种更加通用的解释是：
对于任意$u$和$v\ge 0$，
$$c^{T}x\ge c^{T}x+u^T(Ax-b)+v^T(Gx-h):=L(x,u,v)$$

因此如果$C$表示原问题的可行域，$f^{\ast }$表示原问题的最优解，那么对于任意$u$和$v\ge 0$，
$$f^{\ast }\ge \underset{x\in C}{\min }L(x,u,v)\ge \underset{x}{\min }L(x,u,v):=g(u,v)$$

即$g(u,v)$是$f^{\ast }$的一个下界。其中，
$$g(u,v)=\{\begin{array}{rlr}& -b^{T}u-h^{T}v& ifc=-A^{T}u-G^{T}v\\ & -\infty & otherwise\end{array}$$

我们可以通过最大化$g(u,v)$来逼近原问题的最优解。