【优化】对偶上升法(Dual Ascent)超简说明

本文从便于理解的角度介绍对偶上升法，略去大部分数学推导，目的是帮助大家看懂论文中的相关部分。

阅读本文前，请先参看这篇博客《共轭函数超简说明》。

对偶函数¹

也称为拉格朗日对偶函数(Lagrange dual function)。

拉格朗日量

考虑定义域$D$上的最小化问题：
$$minimize{f}_0(x),x\in D$$

有$m$个不等式约束，以及$p$个等式约束：
$$f_i(x)\le 0,i=1,2...m$$

$$h_i(x)=0,i=1,2...p$$

这个最优化问题的拉格朗日量(Lagrangian)为：
$$L(x,\lambda ,\nu )=f_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^p{\nu }_i{h}_i(x)$$

其物理意义参见这篇博客《拉格朗日乘子法超简说明》。

其中$\lambda ,\nu$称为拉格朗日乘子(Lagrange multiplier)或者对偶变量(dual variable)，$x$称为原变量(primal variable)。

拉格朗日量是关于$x,\lambda ,\nu$的函数。

拉格朗日对偶函数

对于定义域$D$上$x$的所有取值，拉格朗日量的最小值即为拉格朗日对偶函数(dual function)：
$$g(\lambda ,\nu )=\underset{x\in D}{\inf }L(x,\lambda ,\nu )$$

拉格朗日对偶函数是关于对偶变量$\lambda ,\nu$的函数

拉格朗日对偶函数可以看做是$x$取不同值时一族曲线的下界（绿线）。

当$\lambda \ge 0$时，对于最优化问题的解 x ˉ \