交替方向乘子法（Alternating Direction Method of Multipliers）

总目录

一、 凸优化基础（Convex Optimization basics）

1. 凸优化基础（Convex Optimization basics）

二、 一阶梯度方法（First-order methods）

1. 梯度下降（Gradient Descent）
2. 次梯度（Subgradients）
3. 近端梯度法（Proximal Gradient Descent）
4. 随机梯度下降（Stochastic gradient descent）

三、对偶

1. 线性规划中的对偶（Duality in linear programs）
2. 凸优化中的对偶（Duality in General Programs）
3. KKT条件（Karush-Kuhn-Tucker Conditions）
4. 对偶的应用及拓展（Duality Uses and Correspondences）
5. 对偶方法（Dual Methods）
6. 交替方向乘子法（Alternating Direction Method of Multipliers）

Introduction

上一节我们介绍了对偶梯度上升法和增广拉格朗日方法（也叫作乘子法）。在最后我们提到，对偶梯度上升法虽然可以做变量分解，但是需要较强的约束条件保证收敛；而对于乘子法而言，虽然有较好的收敛性，但是却失去了可分解性。那么有没有一种方法可以兼具两种特性呢？那就是本节要介绍的交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）。

交替方向乘子法

考虑如下形式的问题
$$\begin{array}{r}\underset{x,z}{\min }f(x)+g(z)\\ subjecttoAx+Bz=c\end{array}$$

由乘子法可得
$$\begin{array}{r}\underset{x,z}{\min }f(x)+g(z)+\frac{\rho }{2}\Vert Ax+Bz-c{\Vert }_2^2\\ subjecttoAx+Bz=c\end{array}$$

其中参数$\rho >0$。我们定义增广拉格朗日形式为
$$L_{\rho }(x,z,u)=f(x)+g(z)+u^T(Ax+Bz-c)+\frac{\rho }{2}\Vert Ax+Bz-c{\Vert }_2^2$$

对于$k=1,2,3,...$，ADMM重复迭代
$$x^{(k)}=\arg \underset{x}{\min }{L}_{\rho }(x,z^{(k-1)},u^{(k-1)})$$ $$z^{(k)}=\arg \underset{z}{\min }{L}_{\rho }(x^{(k)},z,u^{(k-1)})$$$$u^{(k)}=u^{(k-1)}+\rho (A{x}^{(k)}+B{z}^{(k)}-c)$$

收敛性保证

在对$f$和$g$适当的假设下（不要求$A$和$B$是满秩的），ADMM迭代满足，对于任意$\rho >0$：

• 残差收敛（Residual convergence）：$r^{(k)}=A{x}^{(k)}+B{z}^{(k)}-c\to 0$；
• 目标收敛（Objective convergence）：$f(x^{(k)})+g(z^{(k)})\to f^{\ast }+g^{\ast }$，其中$f^{\ast }+g^{\ast }$是原问题的最优目标值；
• 对偶收敛（Dual convergence）：$u^{(k)}\to u^{\ast }$，其中$u^{\ast }$是对偶问题的解

收敛率一般是未知的。粗略来说，ADMM的收敛率与一阶方法相似或者更快一点。

缩放形式的ADMM

将对偶变量$u$替换为一个缩放变量$w=u/\rho$，原始ADMM步骤可以变为：
$$x^{(k)}=\arg \underset{x}{\min }f(x)+\frac{\rho }{2}\Vert Ax+B{z}^{(k-1)}-c+w^{(k-1)}{\Vert }_2^2$$ $$z^{(k)}=\arg \underset{z}{\min }g(z)+\frac{\rho }{2}\Vert A{x}^{(k)}+Bz-c+w^{(k-1)}{\Vert }_2^2$$$$w^{(k)}=w^{(k-1)}+A{x}^{(k)}+B{z}^{(k)}-c$$

在这种形式下，第$k$次迭代的$w^{(k)}$可以通过运行过程中积累的残差和计算出：
$$w^{(k)}=w^{(0)}+\sum _{i=1}^k(A{x}^{(i)}+B{z}^{(i)}-c)$$

ADMM与近端运算（proximal operators）的联系

回忆前面介绍过的近端投影法，近端算子定义为
$$pro{x}_{h,t}(x)=\arg \underset{z}{\min }\frac{1}{2t}\Vert z-x{\Vert }_2^2+h(z)$$

我们可以将ADMM表示为近端运算。考虑如下问题
$$\underset{x}{\min }f(x+g(x))⟺\underset{x,z}{\min }f(x)+g(z)subjecttox=z$$

ADMM的步骤可变为
$$x^{(k)}=\arg \underset{x}{\min }f(x)+\frac{\rho }{2}\Vert x-z^{(k-1)}+w^{(k-1)}{\Vert }_2^2=pro{x}_{f,1/\rho }(z^{(k-1)}-w^{(k-1)})$$ $$z^{(k)}=\arg \underset{z}{\min }g(z)+\frac{\rho }{2}\Vert x^{(k)}-z+w^{(k-1)}{\Vert }_2^2=pro{x}_{g,1/\rho }(x^{(k)}+w^{(k-1)})$$$$w^{(k)}=w^{(k-1)}+x^{(k)}-z^{(k)}$$

例子：lasso回归（lasso regression）
回忆lasso问题
$$\underset{\beta }{\min }\frac{1}{2}\Vert y-X\beta {\Vert }_2^2+\lambda \Vert \beta {\Vert }_1$$

我们可以将其重写为
$$\underset{\beta ,\alpha }{\min }\frac{1}{2}\Vert y-X\beta {\Vert }_2^2+\lambda \Vert \alpha {\Vert }_{1}subjectto\beta -\alpha =0$$

ADMM可以给出简单的算法：
$${\beta }^{(k)}=(X^{T}X+\rho I{)}^{-1}(X^{T}y+\rho ({\alpha }^{(k-1)}-w^{(k-1)}))$$$${\alpha }^{(k)}=S_{\lambda /\rho }({\beta }^{(k)}+w^{(k-1)})$$$$w^{(k)}=w^{(k-1)}+{\beta }^{(k)}-{\alpha }^{(k)}$$

可以注意到：

• 对任意$X$，矩阵$X^{T}X+\rho I$总是可逆的
• 如果我们能在$O(p^3)$的开销内计算因式分解，那么每次$\beta$更新都花费$O(p^2)$的开销
• $\alpha$更新通过软阈值算子$S_t$
• ADMM的步骤几乎就是在岭回归（ridge regression）的基础上迭代计算软阈值

下图展示了不同方法在计算lasso回归问题上的比较。ADMM与近端梯度法（PG）有着相似收敛速度，加速的近端梯度法（APG）会收敛更快一点并伴随着波动。坐标下降法（CD）由于使用了更多关于问题的信息因而会比其他方法快很多，但其缺点是并不总是适用的。

ADMM的实际应用

在实际应用中，ADMM通常可以在少量的迭代后就可以达到一个相对准确的解，但是如果想要得到一个高精度的解往往需要大量的迭代。

$\rho$的选择会极大地影响ADMM在实际中的收敛。

• $\rho$太大$\to$收敛快但难以保证精度
• $\rho$太小$\to$运行速度慢，迭代次数多

Boyed等人提出了可以一种自适应变化$\rho$的策略，即在每次迭代中通过检查原问题残差和对偶残差来判断离目标值的距离，从而调整$\rho$。虽然方法是有效的，但其并不能保证收敛。

正如生成对偶问题一样，将一个问题转换为ADMM可处理的形式往往不是唯一的。

例子：稀疏与低秩分解
给定$M\in {\mathcal{R}}^{m\times n}$，考虑稀疏和低秩分解（sparse plus low rank decomposition）问题：
$$\begin{array}{r}\underset{L,S}{\min }\Vert L{\Vert }_{tr}+\lambda \Vert S{\Vert }_1\\ subjecttoL+S=M\end{array}$$

ADMM步骤为：
$$L^{(k)}=S_{1/\rho }^{tr}(M-S^{(k-1)}+W^{(k-1)})$$$$S^{(k)}=S_{\lambda /\rho }^{l_1}(M-L^{(k)}+W^{(k-1)})$$$$W^{(k)}=W^{(k-1)}+M-L^{(k)}-S^{(k)}$$

其中$S_{1/\rho }^{tr}$表示矩阵软阈值算子，$S_{1/\rho }^{l_1}$表示元素软阈值算子。
下图展示了稀疏与低秩分解在监控视频中的应用。对于一个监控摄像头的许多视频帧，我们可以将每一帧分解为低秩部分（low-rank part），其代表着所有帧之间共有的部分（如静止的背景），和稀疏部分(sparse part)，其代表着当前帧的特性（如运动的目标）。