ADMM算法理论与应用

ADMM算法理论与应用

---

前言

交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）是一种解决可分解凸优化问题的简单方法，尤其在解决大规模问题上卓有成效，利用ADMM算法可以将原问题的目标函数等价的分解成若干个可求解的子问题，然后并行求解每一个子问题，最后协调子问题的解得到原问题的全局解。ADMM 最早分别由 Glowinski & Marrocco 及 Gabay & Mercier 于 1975 年和 1976 年提出，并被 Boyd 等人于 2011 年重新综述并证明其适用于大规模分布式优化问题。由于 ADMM 的提出早于大规模分布式计算系统和大规模优化问题的出现，所以在 2011 年以前，这种方法并不广为人知。

对偶上升方法

考虑等式约束的最优化问题如下$$\underset{x}{\min }f(x)$$$$st.Ax=b$$其中$x\in {\mathbb{R}}^n,A\in {\mathbb{R}}^{m\times n},f:{\mathbb{R}}^n\in \mathbb{R}$是凸函数
原问题的拉格朗日函数为：$$L(x,y)=f(x)+y^T(Ax-b)$$那么其对偶函数为:$$g(y)=in{f}_{x}L(x,y)=-f^{\ast }(-A^{T}y)-b^{T}y$$其中$y$是拉格朗日乘子，也是对偶变量，$f^{\ast }$是$f$共轭函数。
假设满足强对偶性，则原问题和对偶问题的最优值相等。我们设原问题最优解为$x^{\ast }$,对偶问题最优解为$y^{\ast }$，则
$$x^{\ast }=argmi{n}_{x}L(x,y^{\ast })$$在对偶上升方法中，对偶问题是通过梯度上升方法来解，因此对偶上升迭代更新为:$$x_{k+1}=argmi{n}_{x}L(x,y^k)$$$$y^{k+1}=y^k+{\alpha }_k(A{x}^k+1-b)$$其中${\alpha }_k>0$,是梯度上升的步长。

对偶分解性

对偶上升方法中在满足强对偶性条件下，通过梯度上升来逐步调整对偶变量，再通过对偶变量来求解原问题最优解，这样的好处是在有些情况下可以使算法可分解，假设目标函数是可分解的，即，
$$f(x)=\sum _{i=1}^N{f}_i(x_i)$$其中$x=(x_1,x_2,\dots ,x_N),x_i\in {\mathbb{R}}^{n_i}$,划分矩阵A$$A=[A_1,A_2,\cdots ,A_N]$$所以$Ax={\sum }_{i=1}^N{A}_i{x}_i$,则拉格函数重写成$$L(x,y)=\sum _{i=1}^N{L}_i(x_i,y)=\sum _{i=1}^N(f_i(x_i)+y^T{A}_i{x}_i-(\frac{1}{N})y^{T}b)$$对偶上升的迭代更新:$$x_i^{k+1}=argmi{n}_{x_i}{L}_i(x_i,y^k)$$$$y^{k+1}=y^k+{\alpha }^k(A{x}^{k+1}-b)$$

增广拉格朗日（乘子法）

为了增加对偶上升方法的鲁棒性和放松目标强凸的要求，引入了增广拉格朗日，增广拉格朗日，形式如下: L ρ ( x , y ) = f ( x