对偶方法（Dual Methods）

总目录

一、 凸优化基础（Convex Optimization basics）

1. 凸优化基础（Convex Optimization basics）

二、 一阶梯度方法（First-order methods）

1. 梯度下降（Gradient Descent）
2. 次梯度（Subgradients）
3. 近端梯度法（Proximal Gradient Descent）
4. 随机梯度下降（Stochastic gradient descent）

三、对偶

1. 线性规划中的对偶（Duality in linear programs）
2. 凸优化中的对偶（Duality in General Programs）
3. KKT条件（Karush-Kuhn-Tucker Conditions）
4. 对偶的应用及拓展（Duality Uses and Correspondences）
5. 对偶方法（Dual Methods）
6. 交替方向乘子法（Alternating Direction Method of Multipliers）

Introduction

前一节我们介绍了对偶的应用以及共轭函数的性质。利用这些性质，我们本节讨论基于对偶的方法。

对偶梯度法

即使我们不能推导出闭合形式的对偶或共轭，我们依然可以使用基于对偶的次梯度法或梯度法（Dual gradient methods）。
比如考虑以下问题
$$\underset{x}{\min }f(x)subjecttoAx=b$$

其对偶问题为
$$\underset{u}{\max }-f^{\ast }(-A^{T}u)-b^{T}u$$

其中$f^{\ast }$是$f$的共轭。定义$g(u)=-f^{\ast }(-A^{T}u)-b^{T}u$，则
$$\partial g(u)=A\partial f^{\ast }(-A^{T}u)-b$$

因而，根据共轭的性质，我们可以得到
$$\partial g(u)=Ax-b\mathrm{w}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{e}x\in \arg \underset{z}{\min }f(z)+u^{T}Az$$

对偶次梯度法（dual subgradient method）（最大化对偶目标函数）从一个初始的对偶变量$u^{(0)}$开始，并对于$k=1,2,3,...$次迭代重复
$$x^{(k)}\in \arg \underset{x}{\min }f(x)+(u^{(k-1)}{)}^{T}Ax$$ $$u^{(k)}=u^{(k-1)}+t_k(A{x}^{(k)}-b)$$

步长$t_k$可采用标准梯度方法选择。

当$f$是严格凸函数，那么$f^{\ast }$是可微的，因而该方法变为对偶梯度上升（dual gradient ascent），对于$k=1,2,3,...$，重复迭代
$$x^{(k)}=\arg \underset{x}{\min }f(x)+(u^{(k-1)}{)}^{T}Ax$$ $$u^{(k)}=u^{(k-1)}+t_k(A{x}^{(k)}-b)$$

此时每次迭代的$x^{(k)}$都是唯一的。同样地，近端梯度方法及其加速方法都可以像通常的那样应用。

收敛分析

Lipschitz梯度和强凸性

假设$f$是闭合的凸函数，那么$f$关于参数$d$强凸等价于$\nabla f^{\ast }$关于参数$1/d$满足Lipschitz连续条件。

收敛保证

给定上述结论，我们可以得到对偶次梯度法的收敛率

• 如果$f$是关于参数$d$强凸的，那么使用固定步长$t_k=d$的对偶梯度上升方法的收敛率为$O(1/ϵ)$。
• 如果$f$是关于参数$d$强凸的，且$\nabla f$是关于参数$L$ Lipschitz连续的，那么使用固定步长$t_k=2/(1/d+1/L)$的对偶梯度上升方法的收敛率为$O(log(1/ϵ))$。

对偶分解

等式约束

考虑如下问题
$$\underset{x}{\min }\sum _{i=1}^B{f}_i(x_i)subjecttoAx=b$$

其中$x=(x_1,...,x_B)\in R^n$分为$B$组变量，每个变量$x_i\in R^{n_i}$。我们可以以此分割$A$
$$A=[A_1,...,A_B],\mathrm{w}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{e}{A}_i\in R^{m\times n_i}$$

在计算梯度时，我们可以将其分割分解为$B$个分离的问题：
$$x^{+}\in \arg \underset{x}{\min }\sum _{i=1}^B{f}_i(x_i)+u^{T}Ax$$ $$⟺x_i^{+}\in \arg \underset{x_i}{\min }{f}_i(x_i)+u^T{A}_i{x}_i,i=1,...,B$$

对偶分解算法：对于$k=1,2,3,...$，重复迭代
$$x_i^{(k)}\in \arg \underset{x_i}{\min }{f}_i(x_i)+(u^{(k-1)}{)}^T{A}_i{x}_i,i=1,...,B$$ $$u^{(k)}=u^{(k-1)}+t_k(\sum _{i=1}^B{A}_i{x}_i^{(k)}-b)$$

可以将这两个步骤描述为：

• 广播（Broadcast）：将$u$发送给$B$个处理器，B个处理器并行优化找到各自的$x_i$；
• 聚集（Gather）：从每个处理器收集$A_i{x}_i$，然后更新全局对偶变量$u$；

不等式约束

考虑如下问题
$$\underset{x}{\min }\sum _{i=1}^B{f}_i(x_i)subjectto\sum _{i=1}^B{A}_i{x}_i\le b$$

对偶分解算法（投影次梯度法）：对于$k=1,2,3,...$，重复迭代
$$x_i^{(k)}\in \arg \underset{x_i}{\min }{f}_i(x_i)+(u^{(k-1)}{)}^T{A}_i{x}_i,i=1,...,B$$ $$u^{(k)}=(u^{(k-1)}+t_k(\sum _{i=1}^B{A}_i{x}_i^{(k)}-b){)}_{+}$$

其中$u_{+}$表示$u$的正部分，即 ( u + ) i = max ⁡ { 0 , u i } , i = 1 , . . . , m (u_+)i=\max\{0,u_i\},\quad i=1,...,m (u+​)i=max{0,ui​},i=1,...,m。

增广拉格朗日方法（乘子法）

对偶上升法的缺点在于其要求较强的约束条件来保证收敛。使用增广拉格朗日方法（Augmented Lagrangian method）（也称为乘子法，method of multipliers）可以对其做改进。我们将原问题变为：
$$\begin{array}{r}\underset{x}{\min }f(x)+\frac{\rho }{2}\Vert Ax-b{\Vert }_2^2\\ subjecttoAx=b\end{array}$$

其中$\rho >0$是一个参数。该形式明显等价于原问题，且当$A$是满列秩时目标函数是强凸的。使用对偶梯度上升：对于$k=1,2,3,...$，重复迭代
$$x^{(k)}=\arg \underset{x}{\min }f(x)+(u^{(k-1)}{)}^{T}Ax+\frac{\rho }{2}\Vert Ax-b{\Vert }_2^2$$ $$u^{(k)}=u^{(k-1)}+\rho (A{x}^{(k)}-b)$$

注意到步长选择变为了$t_k=\rho ,k=1,2,3,...$。这是因为，既然$x^{(k)}$最小化$f(x)+(u^{(k-1)}{)}^{T}Ax+\frac{\rho }{2}\Vert Ax-b{\Vert }_2^2$，那么
$$\begin{array}{rl}0& \in \partial f(x^{(k)})+A^T(u^{(k-1)}+\rho (A{x}^{(k)}-b))\\ & =\partial f(x^{(k)})+A^T{u}^{(k)}\end{array}$$

这是原问题的稳定性条件。因此，在相对温和的条件下（$A{x}^{(k)}-b$接近0），KKT条件就可以满足，$x^{(k)},u^{(k)}$可达到最优值。

乘子法有较好的收敛性质，但缺点是失去了可分解性。那有没有同时具有好的收敛性和可分解性的方法呢，我们下次来做介绍。