【约束非线性优化】ADMM算法精讲

1. 交叉方向乘子法（ADMM）

在本节中，我们将介绍一种用交叉方向乘子法（ADMM）解决带约束的最小化问题的框架。该方法非常通用，可用于解决一大类有约束的最小化问题。

1.1 对偶交替上升（Dual Ascent）

【回顾】：考虑一个目标函数为凸，约束条件为等式约束的原问题（即满足slater条件），是如何通过对偶问题求得最优解的？

设原问题为：$\underset{\mathbf{x}\in \Omega }{\min }f(\mathbf{x})\text{s.t. }A\mathbf{x}=b$，

拉格朗日函数为：$L(\mathbf{x},\lambda )=f(\mathbf{x})+{\lambda }^T(A\mathbf{x}-b)$，对偶函数：$q(\lambda )=\underset{\mathbf{x}\in {\mathbb{R}}^n}{\min }L(\mathbf{x},\lambda )$，

设 ${\lambda }^{\ast }$ 是对偶问题的最优解，根据强对偶定理：${\lambda }^{\ast }=\arg \underset{\lambda }{\max }q(\lambda )\Rightarrow {\mathbf{x}}^{\ast }=\arg \underset{\mathbf{x}\in {\mathbb{R}}^n}{\min }L(\mathbf{x},{\lambda }^{\ast })$，

所以如何求解 $\arg \underset{\lambda }{\max }q(\lambda )$ 成为关键。一个自然的想法是采用梯度上升法，为了达到这个目的，我们需要找到一个方法去计算对偶函数的梯度。而 $q(\lambda )=\underset{\mathbf{x}\in {\mathbb{R}}^n}{\min }L(\mathbf{x},\lambda )$，如果我们找到一个 $\tilde{\mathbf{x}}=\arg \underset{\mathbf{x}\in {\mathbb{R}}^n}{\min }L(\mathbf{x},\lambda )$，那么
$$q(\lambda )=L(\tilde{\mathbf{x}},\lambda )=f(\tilde{\mathbf{x}})+{\lambda }^T(A\tilde{\mathbf{x}}-b)$$
显然，这是一个关于 $\lambda$ 的线性函数，它的梯度为非常好算：$\nabla$