凸优化中的对偶（Duality in General Programs）

总目录

一、 凸优化基础（Convex Optimization basics）

1. 凸优化基础（Convex Optimization basics）

二、 一阶梯度方法（First-order methods）

1. 梯度下降（Gradient Descent）
2. 次梯度（Subgradients）
3. 近端梯度法（Proximal Gradient Descent）
4. 随机梯度下降（Stochastic gradient descent）

三、对偶

1. 线性规划中的对偶（Duality in linear programs）
2. 凸优化中的对偶（Duality in General Programs）
3. KKT条件（Karush-Kuhn-Tucker Conditions）
4. 对偶的应用及拓展（Duality Uses and Correspondences）
5. 对偶方法（Dual Methods）
6. 交替方向乘子法（Alternating Direction Method of Multipliers）

Intorduction

在上节中，我们讨论了线性规划中的对偶，引入了对偶的基本概念和对偶的两种解释。对偶相当于给当前的优化问题找到了一个下界，通过提升这个下界来找到原问题的最优解。本节将进一步介绍对偶在一般规划问题中的推广。

拉格朗日对偶函数

考虑一般的最小化问题：
$$\begin{array}{rl}\underset{x}{\min }& f(x)\\ \mathrm{s}\mathrm{u}\mathrm{b}\mathrm{j}\mathrm{e}\mathrm{c}\mathrm{t}\mathrm{t}\mathrm{o}& h_i(x)\le 0,i=1,...,m\\ & l_i(x)=0,j=1,...,r\end{array}$$

这里不需要一定是凸函数，当然我们主要研究凸函数的情况。我们定义拉格朗日方程（Lagrangian）为:
$$L(x,u,v)=f(x)+\sum _{i=1}^m{u}_i{h}_i(x)+\sum _{j=1}^r{v}_i{l}_i(x)$$

新变量$u\in R^m,v\in R^r$，且$u\ge 0$。其一个重要的特性是，对于所有可行点$x$，
$$f(x)\ge L(x,u,v)$$

正如上节所示，如果$C$表示原问题的可行域，$f^{\ast }$表示原问题的最优解，那么对于任意$u$和$v\ge 0$，
$$f^{\ast }\ge \underset{x\in C}{\min }L(x,u,v)\ge \underset{x}{\min }L(x,u,v):=g(u,v)$$

我们称$g(u,v)$为拉格朗日对偶函数（Lagrange dual function）。它给出了$f^{\ast }$的一个下限。其中，$u\ge 0$和$v$称之为对偶变量。

例子：二次规划
考虑二次规划问题:：
$$\begin{array}{rl}\underset{x}{\min }& \frac{1}{2}{x}^{T}Qx+c^{T}x\\ \mathrm{s}\mathrm{u}\mathrm{b}\mathrm{j}\mathrm{e}\mathrm{c}\mathrm{t}\mathrm{t}\mathrm{o}& Ax=b,x\ge 0\end{array}$$

其中，$Q\succ 0$。拉格朗日方程为：
$$L(x,u,v)=\frac{1}{2}{x}^{T}Qx+c^{T}x-u^{T}x+v^T(Ax-b)$$

拉格朗日对偶函数为：
$$g(u,v)=\underset{x}{\min }L(x,u,v)=-\frac{1}{2}(c-u+A^{T}v{)}^T{Q}^{-1}(c-u+A^{T}v)-b^{T}v$$

对于任意$u\ge 0$和$v$，$g(u,v)$作为下界约束着原函数最优解$f^{\ast }$的取值。

拉格朗日对偶问题

已知对于任意$u\ge 0$和$v$，$f^{\ast }\ge g(u,v)$。因此最好的下界是：在$u,v$可行域上最大化$g(u,v)$。这就得到了拉格朗日对偶问题（Lagrange dual problem）：
$$\begin{array}{rl}\underset{u,v}{\max }& g(u,v)\\ \mathrm{s}\mathrm{u}\mathrm{b}\mathrm{j}\mathrm{e}\mathrm{c}\mathrm{t}\mathrm{t}\mathrm{o}& u\ge 0\end{array}$$

一个关键的性质称为弱对偶（weak duality）：如果对偶最优解为$g^{\ast }$，那么$f^{\ast }\ge g^{\ast }$。
另一个关键性质是：对偶问题总是凸优化问题。
无论原问题是不是凸的，这两个性质总是成立的。

强对偶

弱对偶告诉我们$f^{\ast }\ge g^{\ast }$总是成立的。而在一些问题中，我们可以得到$f^{\ast }=g^{\ast }$，该性质称之为强对偶。

Slater条件

Slater’s condition: 如果原问题是凸优化问题（即$f$和$h_1,...,h_m$是凸函数，$l_1,...,l_r$是放射函数），那么至少存在一个严格可行点$x\in R^n$，即
$$h_1(x)<0,...,h_m(x)<0$$且$$l_1(x)=0,...,l_r(x)=0$$满足强对偶。

可以验证的是，对于线性规划问题，LP对偶的对偶就是原LP问题。且LP问题总是有强对偶性。

例子：支持向量机
给定 y ∈ { − 1 , 1 } n y\in \{-1,1\}^n y∈{−1,1}n，$X\in R^{n\times p}$有行向量$x_1,...,x_n$，则支持向量机(SVM)定义为：
$$\begin{array}{rl}\underset{\beta ,{\beta }_0,\xi }{\min }& \frac{1}{2}\Vert \beta {\Vert }_2^2+C\sum _{i=1}^n{\xi }_i\\ \mathrm{s}\mathrm{u}\mathrm{b}\mathrm{j}\mathrm{e}\mathrm{c}\mathrm{t}\mathrm{t}\mathrm{o}& {\xi }_i\ge 0,i=1,...,n\\ & y_i(x_i^T\beta +{\beta }_0)\ge 1-{\xi }_i,i=1,...,n\end{array}$$

引入对偶变量$v,w\ge 0$，可以得到拉格朗日方程：
$$L(\beta ,{\beta }_0,\xi ,v,w)=\frac{1}{2}\Vert \beta {\Vert }^2+C\sum _{i=1}^n{\xi }_i-\sum _{i=1}^n{v}_i{\xi }_i+\sum _{i=1}^n{w}_i(1-{\xi }_i-y_i(x_i^T\beta +{\beta }_0))$$

则拉格朗日对偶函数为：
$$\underset{\beta ,{\beta }_0,\xi }{\min }L=g(v,w)=\{\begin{array}{rlr}& -\frac{1}{2}{w}^T\tilde{X}{\tilde{X}}^{T}w+1^{T}w& \mathrm{i}\mathrm{f}w=C1-v,w^{T}y=0\\ & -\infty & otherwise\end{array}$$

其中，$\tilde{X}=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}(y)X$。因此，SVM的对偶问题消除了松弛变量$v$：
$$\begin{array}{rl}\underset{w}{\max }& -\frac{1}{2}{w}^T\tilde{X}{\tilde{X}}^{T}w+1^{T}w\\ \mathrm{s}\mathrm{u}\mathrm{b}\mathrm{j}\mathrm{e}\mathrm{c}\mathrm{t}\mathrm{t}\mathrm{o}& 0\le w\le C1,w^{T}y=0\end{array}$$

可以看到，Slater条件是满足的，因而SVM是有强对偶性的。

对偶间隙

给定原变量$x$和对偶变量$u,v$，则$f(x)-g(u,v)$称为对偶间隙（duality gap）。注意到$f(x)-f^{\ast }\le f(x)-g(u,v)$，所以当对偶间隙为0时，$x$就是原问题的最优解（同时，$u,v$也是对偶问题的最优解）。
从算法角度来看，只要给定一个停止阈值：$f(x)-g(u,v)\le ϵ$，那么就可以保证$f(x)-f^{\ast }\le ϵ$。