【优化】对偶上升法(Dual Ascent)超简说明

本文从便于理解的角度介绍对偶上升法，略去大部分数学推导，目的是帮助大家看懂论文中的相关部分。

阅读本文前，请先参看这篇博客《共轭函数超简说明》。

对偶函数¹

也称为拉格朗日对偶函数(Lagrange dual function)。

拉格朗日量

考虑定义域$D$上的最小化问题：
$$minimize{f}_0(x),x\in D$$

有$m$个不等式约束，以及$p$个等式约束：
$$f_i(x)\le 0,i=1,2...m$$

$$h_i(x)=0,i=1,2...p$$

这个最优化问题的拉格朗日量(Lagrangian)为：
$$L(x,\lambda ,\nu )=f_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^p{\nu }_i{h}_i(x)$$

其物理意义参见这篇博客《拉格朗日乘子法超简说明》。

其中$\lambda ,\nu$称为拉格朗日乘子(Lagrange multiplier)或者对偶变量(dual variable)，$x$称为原变量(primal variable)。

拉格朗日量是关于$x,\lambda ,\nu$的函数。

拉格朗日对偶函数

对于定义域$D$上$x$的所有取值，拉格朗日量的最小值即为拉格朗日对偶函数(dual function)：
$$g(\lambda ,\nu )=\underset{x\in D}{\inf }L(x,\lambda ,\nu )$$

拉格朗日对偶函数是关于对偶变量$\lambda ,\nu$的函数

拉格朗日对偶函数可以看做是$x$取不同值时一族曲线的下界（绿线）。

当$\lambda \ge 0$时，对于最优化问题的解$\bar{x}$，两个约束条件都非正：
$${\lambda }_i{f}_i(\bar{x})<=0,{\nu }_i{h}_i(\bar{x})=0$$
于是，该解对应的曲线不超过原问题最优解：
$$L(\bar{x},\lambda ,\nu )\le f_0(\bar{x})$$
进一步，所有曲线的下界不超过原问题最优解：
$$g(\lambda ,\nu )\le f_0(\bar{x})$$

换言之

$\lambda >0$时，拉格朗日对偶函数是最优化值的下界。

对偶函数与共轭函数

考虑线性约束下的最优化问题
$$minimize{f}_0(x),x\in D$$

$$Ax\le b,Cx=d$$

其对偶函数：
$$g(\lambda ,\nu )=\underset{x}{\inf }\left(f_0(x)+{\lambda }^T(Ax-b)+{\nu }^T(Cx-d)\right)$$

提取和$x$无关的项，凑出共轭函数形式：
$$g(\lambda ,\nu )=-{\lambda }^{T}b-{\nu }^{T}d+\underset{x}{\inf }\left(f_0(x)+{\lambda }^{T}Ax+{\nu }^{T}Cx\right)$$

$$=-{\lambda }^{T}b-{\nu }^{T}d-\underset{x}{\sup }\left((-A^T\lambda -C^T\nu {)}^{T}x-f_0(x)\right)$$

$$=-{\lambda }^{T}b-{\nu }^{T}d-f^{\ast }(-A^T\lambda -C^T\nu )$$

线性约束下的对偶函数可以用共轭函数表示。
其自变量为拉格朗日乘子的线性组合。

对偶问题²

上图绿线上的最高点，是对于最优化值下界的最好估计：
$$maximizeg(\lambda ,\nu )$$

$$subjectto\lambda \ge 0$$
这个问题称为原优化问题的拉格朗日对偶问题(dual problem)。

如果

• 强对偶条件成立³
• 对偶问题存在最优解$\bar{\lambda },\bar{\nu }$

则：原问题$f_0(x)$的最优解$\bar{x}$也是$L(x,\bar{\lambda },\bar{\nu })$的最优解³

$L(x,\bar{\lambda },\bar{\nu })$是关于$x$的函数，相当于在图中$[\lambda ,\nu ]=[\bar{\lambda },\bar{\nu }]$对应的竖线上，查找值最小曲线对应的$x$。

换言之：

原问题和对偶问题通过拉格朗日量联系了起来。

如果$f(x)$复杂，而$g(\lambda ,\nu )$简单， 可以通过如下方式求解原问题：

• 求解 $\max g(\lambda ,\nu )$得到$\bar{\lambda },\bar{\nu }$
• 求解$\min L(x,\bar{\lambda },\bar{\nu })$得到$\bar{x}$

对偶上升法⁴

利用原问题和对偶问题的上述关系，有如下推论：

设第$k$次迭代得到原问题解$x^k$，对偶问题解${\lambda }^k,{\nu }^k$

• 假设${\lambda }^k,{\nu }^k$已经为对偶问题最优解
• 根据上述等价性，最小化$L(x,{\lambda }^k,{\nu }^k)$能得到原问题最优解$x^{k+1}$
  $$x^{k+1}=\arg \underset{x}{\min }L(x,{\lambda }^k,{\nu }^k)$$
• $L(x,{\lambda }^k,{\nu }^k)$是${\lambda }^k,{\nu }^k$位置上，不同$x$对应的$L$取值
• 所以，$x=x^{k+1}$的曲线处于所有曲线最下面。即$g({\lambda }^k,{\nu }^k)=L(x^{k+1},{\lambda }^k,{\nu }^k)$
• 在该位置使用梯度上升法更新对偶问题解
  $${\lambda }^{k+1}={\lambda }^k+\alpha \cdot \frac{\partial L(x,\lambda ,\nu )}{\partial \lambda }{|}_{x=x^{k+1},\lambda ={\lambda }^k,\nu ={\nu }^k}$$

$${\nu }^{k+1}={\lambda }^k+\alpha \cdot \frac{\partial L(x,\lambda ,\nu )}{\partial \nu }{|}_{x=x^{k+1},\lambda ={\lambda }^k,\nu ={\nu }^k}$$

这一方法称为对偶上升法。下图的灰线示出解的变化：

---

1. S. Boyd and L. Vandenberghe, Convex Optimization. Cambridge University Press, 2004. KaTeX parse error: Undefined control sequence: \S at position 1: \̲S̲ 5.1 ↩︎

2. S. Boyd and L. Vandenberghe, Convex Optimization. Cambridge University Press, 2004. KaTeX parse error: Undefined control sequence: \S at position 1: \̲S̲ 5.2 ↩︎

3. S. Boyd and L. Vandenberghe, Convex Optimization. Cambridge University Press, 2004. KaTeX parse error: Undefined control sequence: \S at position 1: \̲S̲ 5.5.5 ↩︎ ↩︎

4. S. Boyd, N. Parikh, E. Chu, B. Peleato, and J. Eckstein. Distributed optimization and statistical learning via the alternating direction method of multipliers. Foundations and Trends in Machine Learning, 2011. KaTeX parse error: Undefined control sequence: \S at position 1: \̲S̲ 2.1 ↩︎