Lagrangian乘子法与对偶上升法（Dual Ascent）

Lagrangian乘子法

考虑等式约束的凸优化问题：
$$\min f(x)s.t.Ax=b\text{\hspace{1em}(1)}$$
其中向量$x\in {\mathbb{R}}^n$，矩阵$A\in {\mathbb{R}}^{m\times n}$，函数$f(x):{\mathbb{R}}^n\to \mathbb{R}$是凸函数。
Lagrangian乘子法将其变为无约束最小化问题，其Lagrangian目标函数为：
$$L(x,\lambda )=f(x)+{\lambda }^T(Ax-b)$$
注意，到这里Lagrangian乘子法就算是结束了。到这一步之后，可以令$L(x,\lambda )=0$，求出一些$x$，然后取使得$f(x)$最小的$x$值作为最终解，因为一阶导为0是一个必要条件而非充要条件，可以参见这篇文章

对偶上升法

对于$L(x,\lambda )=0$难以解出等的情况，可以用对偶上升法来做优化。
原始优化问题的对偶目标函数为：
$$g(\lambda )=\underset{x}{\inf }L(x,\lambda )=-f^{\ast }(-A^T\lambda )-b^T\lambda$$
这里的对偶目标函数就是我们一般讲的对偶问题，是一个关于Lagrangian乘子的问题，$\inf$表示最大下界，正是对偶问题的最优化目标。而第二个等号成立的原因是，线性约束下凸函数的对偶函数可以用其共轭函数表示。$f(x)的$共轭函数$f^{\ast }(y)$定义为：
$$f^{\ast }(y)=\underset{x\in D}{\sup }(y^{T}x-f(x))$$
其中$y\in {\mathbb{R}}^n$，$\sup$表示最小上界。下面证明$g(\lambda )=-f^{\ast }(-A^T\lambda )-b^T\lambda$：
$$\begin{gathered} g(\lambda )=\underset{x}{\inf }L(x,\lambda )=\underset{x}{\inf }(f(x)+{\lambda }^T(Ax-b)) \\ =-{\lambda }^{T}b+\underset{x}{\inf }(f(x)+{\lambda }^{T}Ax)（将与x无关的项提取出） \\ =-{\lambda }^{T}b-\underset{x}{\sup }(-f(x)-{\lambda }^{T}Ax)（函数最大下界等于取反之后的最小上界） \\ =-{\lambda }^{T}b-f^{\ast }(-A^T\lambda )（共轭函数的定义） \\ =-b^T\lambda -f^{\ast }(-A^T\lambda )（得证） \end{gathered}$$
因此借助Lagrangian乘子法，原始等式约束极小化问题变成了对偶极大化问题：
$$\underset{\lambda }{\max }g(\lambda )=-f^{\ast }(-A^T\lambda )-b^T\lambda \text{\hspace{1em}(2)}$$
对偶上升法采用了梯度上升法来求解公式$(2)$。假设强对偶性满足，则原问题最优解与对偶问题最优解相同。此时公式$(1)$的最优解点$x^{\ast }$可以由下式恢复：
$$x^{\ast }=\underset{x}{\mathrm{argmin}}L(x,{\lambda }^{\ast })$$
对偶上升法主要由两个步骤组成：
$$\begin{gathered} x_{k+1}=\underset{x}{\mathrm{argmin}}L(x,{\lambda }_k) \\ {\lambda }_{k+1}={\lambda }_k+{\mu }_k\frac{\partial L(x,\lambda )}{\partial \lambda }{|}_{x=x_{k+1},\lambda ={\lambda }_k}={\lambda }_k+{\mu }_k(A{x}_{k+1}-b) \end{gathered}$$
这里的${\mu }_k$为更新$\lambda$的步长。

总结

对偶上升法的重要假设是强对偶成立，对偶上升法有两层含义，一是对偶变量$\lambda$的更新采用梯度上升法，二是通过步长${\mu }_k$的适当选择保证$g({\lambda }_{k+1})>g({\lambda }_k)$。

本文主要来自张贤达《矩阵分析与应用（第二版）》第4.7.1节，并参考了这篇博客。该博客说对偶上升法也适用于不等式约束的情况，张书中并无此说，这一点我暂时存疑。