用ADMM实现统计学习问题的分布式计算

详见：http://mullover.me/2016/01/19/admm-for-distributed-statistical-learning/

最近研读了 Boyd 2011 年那篇关于 ADMM 的综述。这是由两件事情促成的：一是刘鹏的《计算广告》中 CTR 预测技术那部分提到了用 ADMM 框架来并行化 LR 问题的求解；二是我的一个本科同学在读博士期间做的东西恰好用到了 ADMM，我们曾经谈到过这个框架。我从这篇综述里整理出了一个条思路，顺着这个思路看下去，就能对 ADMM 原理和应用有个大概的了解。因此，此文可以当做 ADMM 的快速入门。

交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）是一种求解优化问题的计算框架, 适用于求解分布式凸优化问题，特别是统计学习问题。 ADMM 通过分解协调（Decomposition-Coordination）过程，将大的全局问题分解为多个较小、较容易求解的局部子问题，并通过协调子问题的解而得到大的全局问题的解。

ADMM 最早分别由 Glowinski & Marrocco 及 Gabay & Mercier 于 1975 年和 1976 年提出，并被 Boyd 等人于 2011 年重新综述并证明其适用于大规模分布式优化问题。由于 ADMM 的提出早于大规模分布式计算系统和大规模优化问题的出现，所以在 2011 年以前，这种方法并不广为人知。

ADMM 计算框架

一般问题

若优化问题可表示为

$$\begin{array}{}\begin{array}{c}minf\left(x\right)+g\left(z\right)s.t.Ax+Bz=c\end{array}& \text{(1)}\end{array}$$

其中 $x\in R^s,z\in R^n,A\in R^{p\times s},B\in R^{p\times n},c\in R^p,f:R^s\to R,g:R^n\to R$。 $x$ 与 $z$ 是优化变量；$f\left(x\right)+g\left(z\right)$ 是待最小化的目标函数（Objective Function），它由与变量 $x$ 相关的 $f\left(x\right)$ 和与变量 $x$ 相关的 $g\left(z\right)$ 这两部分构成，这种结构可以很容易地处理统计学习问题优化目标中的正则化项； $Ax+Bz=c$ 是 $p$ 个等式约束条件（Equality Constraints）的合写。其增广拉格朗日函数（Augmented Lagrangian）为

$$L_{\rho }(x,z,y)=f\left(x\right)+g\left(z\right)+y^T(Ax+Bz-c)+\left(\rho /2\right)\parallel Ax+Bz-c{\parallel }_2^2$$

其中 $y$ 是对偶变量（或称为拉格朗日乘子）， $\rho >0$ 是惩罚参数。 $L_{\rho }$ 名称中的“增广”是指其中加入了二次惩罚项 $\left(\rho /2\right)\parallel Ax+Bz-c{\parallel }_2^2$ 。

则该优化问题的 ADMM 迭代求解方法为

$$\begin{array}{cc}{x}^{k+1}& :=\arg \underset{x}{min}{L}_{\rho }(x,z^k,y^k)\\ z^{k+1}& :=\arg \underset{z}{min}{L}_{\rho }(x^{k+1},z,y^k)\\ y^{k+1}& :=y^k+\rho (A{x}^{k+1}+B{z}^{k+1}-c)\end{array}$$

令 $u=\left(1/\rho \right)y$ ，并对 $Ax+Bz-c$ 配方，可得表示上更简洁的缩放形式（Scaled Form）

$$\begin{array}{cc}{x}^{k+1}& :=\arg \underset{x}{min}(f\left(x\right)+\left(\rho /2\right)\parallel Ax+B{z}^k-c+u^k{\parallel }_2^2)\\ z^{k+1}& :=\arg \underset{z}{min}(g\left(z\right)+\left(\rho /2\right)\parallel A{x}^{k+1}+Bz-c+u^k{\parallel }_2^2)\\ u^{k+1}& :=u^k+A{x}^{k+1}+B{z}^{k+1}-c\end{array}$$

可以看出，每次迭代分为三步：

1. 求解与 $x$ 相关的最小化问题，更新变量 $x$
2. 求解与 $z$ 相关的最小化问题，更新变量 $z$
3. 更新对偶变量 $u$

ADMM名称中的“乘子法”是指这是一种使用增广拉格朗日函数（带有二次惩罚项）的对偶上升（Dual Ascent）方法，而“交替方向”是指变量 $x$ 和 $z$ 是交替更新的。两变量的交替更新是在 $f\left(x\right)$ 或 $g\left(z\right)$ 可分时可以将优化问题分解的关键原因。

收敛性

可以证明，当满足条件

1. 函数 $f,g$ 具有 closed, proper, convex 的性质
2. 拉格朗日函数 $L_0$ 有鞍点

时，ADMM 的迭代收敛（当 $k\to \infty$ 时， $r^k\to 0,f\left(x^k\right)+g\left(z^k\right)\to p^{\star },y^k\to y^{\star }$ ）。这样的收敛条件比没有使用增广拉格朗日函数的对偶上升法的收敛条件宽松了不少。

在高精度要求下，ADMM 的收敛很慢；但在中等精度要求下，ADMM 的收敛速度可以接受（几十次迭代）。因此 ADMM 框架尤其适用于不要求高精度的优化问题，这恰好是大规模统计学习问题的特点。

一致性（Consensus）问题

一类可用 ADMM 框架解决的特殊优化问题是一致性（Consensus）问题，其形式为

$$min\sum _{i=1}^N{f}_i\left(z\right)+g\left(z\right)$$

将加性优化目标 ${\sum }_{i=1}^N{f}_i\left(z\right)$ 转化为可分优化目标 ${\sum }_{i=1}^N{f}_i\left(x_i\right)$ ，并增加相应的等式约束条件，可得其等价问题

$$\begin{array}{}\begin{array}{c}min\sum _{i=1}^N{f}_i\left(x_i\right)+g\left(z\right)s.t.x_i-z=0,i=1,\dots ,N\end{array}& \text{(2)}\end{array}$$

这里约束条件要求每个子目标中的局部变量 $x_i$ 与全局变量 $z$ 一致，因此该问题被称为一致性问题。

可以看出，令式（1）中的$x=(x_1^T,\dots ,x_N^T{)}^T,f(x)={\sum }_{i=1}^N{f}_i(x_i),A=I_{sN},B=-(\underset{N}{\underset{}{I_s,\dots ,I_s}}{)}^T,c=0$ ，即得到式（2）。因此 Consensus 问题可用 ADMM 框架求解，其迭代方法为

$$\begin{array}{cc}{x}_i^{k+1}& :=\arg \underset{x_i}{min}(f_i\left(x_i\right)+\left(\rho /2\right)\parallel x_i-z^k+u_i^k{\parallel }_2^2)\\ z^{k+1}& :=\arg \underset{z}{min}(g\left(z\right)+\left(N\rho /2\right)\parallel z-{\overline{x}}^{k+1}-{\overline{u}}^k{\parallel }_2^2)\\ u_i^{k+1}& :=u_i^k+x_i^{k+1}-z^{k+1}\end{array}$$

其中 $\overline{x}=\left(1/N\right){\sum }_{i=1}^N{x}_i,\overline{u}=\left(1/N\right){\sum }_{i=1}^N{u}_i$ 。

可以看出，变量 $x$ 和对偶变量 $u$ 的更新都是可以采用分布式计算的。只有在更新变量 $z$ 时，需要收集 $x$ 和 $u$ 分布式计算的结果，进行集中式计算。

统计学习问题应用

统计学习问题也是模型拟合问题，可表示为

$$minl(D,d,z)+r\left(z\right)$$

其中 $z\in R^n$ 是待学习的参数， $D\in R^{m\times n}$ 是模型的输入数据集， $d\in R^m$ 是模型的输出数据集， $l:R^{m\times n}\times R^m\times R^n\to R$ 是损失函数， $r:R^n\to R$ 是正则化项， $m$ 表示数据的个数， $n$ 表示特征的个数。

对于带L1正则化项的线性回归（Lasso），其平方损失函数为

$$l(D,d,z)=\left(1/2\right)\parallel Dz-d{\parallel }_2^2$$

对于逻辑回归（Logistic Regression），其极大似然损失函数为

$$l(D,d,z)={\text{1}}^T(\log (\exp \left(Dz\right)+\text{1})-Dz{d}^T)$$

对于线性支持向量机（Linear Support Vector Machine），其合页（Hinge）损失函数为

$$l(D,d,z)={\text{1}}^T(\text{1}-Dz{d}^T{)}_{+}$$

将训练数据集（输入数据和输出数据）在样本的维度（ $m$ ）划分成 $N$ 块

$$D=\left(\begin{array}{c}{D}_1\\ ⋮\\ D_N\end{array}\right),d=\left(\begin{array}{c}{d}_1\\ ⋮\\ d_N\end{array}\right),$$

其中 $D_i\in R^{m_i\times n},d_i\in R^{m_i},{\sum }_{i=1}^N{m}_i=m$ ，若有局部损失函数 $l_i:R^{m_i\times n}\times R^{m_i}\times R^n\to R$ ，可得

$$\begin{array}{}\begin{array}{c}min\sum _{i=1}^N{l}_i(D_i,d_i,x_i)+r\left(z\right)s.t.x_i-z=0,i=1,\dots ,N\end{array}& \text{(3)}\end{array}$$

可以看出，令式（2）中的 $f_i\left(x_i\right)=l_i(D_i,d_i,x_i),g\left(z\right)=r\left(z\right)$ ，即得到式（3），因此 统计学习问题可用 Consensus ADMM 实现分布式计算，其迭代方法为

$$\begin{array}{cc}{x}_i^{k+1}& :=\arg \underset{x_i}{min}(l_i(D_i,d_i,x_i)+\left(\rho /2\right)\parallel x_i-z^k+u_i^k{\parallel }_2^2)\\ z^{k+1}& :=\arg \underset{z}{min}(r\left(z\right)+\left(N\rho /2\right)\parallel z-{\overline{x}}^{k+1}-{\overline{u}}^k{\parallel }_2^2)\\ u_i^{k+1}& :=u_i^k+x_i^{k+1}-z^{k+1}\end{array}$$

分布式实现

MPI

MPI 是一个语言无关的并行算法消息传递规约。使用 MPI 范式的 Consensus ADMM 算法如下所示。

1. Initialize $N$ processes, along with $x_i,u_i,r_i,z$

2. Repeat

3.     Update $r_i=x_i-z$

4.     Update $u_i:=u_i+x_i-z$

5.     Update $x_i:=\arg {min}_x(f_i\left(x\right)+\left(\rho /2\right)\parallel x-z+u_i{\parallel }_2^2)$

6.     Let $w:=x_i+u_i$ and $t:=\parallel r_i{\parallel }_2^2$

7.     Allreduce $w$ and $t$

8.     Let $z^{prev}:=z$ and update $z:=\arg {min}_z(g\left(z\right)+\left(N\rho /2\right)|z-w/>N{|}_2^2)$

9. Until $\rho \sqrt{N}\parallel z-z^{prev}{\parallel }_2\le {ϵ}^{conv}$ and $\sqrt{t}\le {ϵ}^{feas}$

该算法中假设有 $N$ 个处理器，每个处理器都运行同样的程序，只是处理的数据不同。第6步中的 Allreduce 是 MPI 中定义的操作，表示对相应的局部变量进行全局操作（如这里的求和操作），并将结果更新到每一个处理器。

MapReduce

MapReduce 是一个在工业界和学术界都很流行的分布式批处理编程模型。使用 MapReduce 范式的 Consensus ADMM 算法（一次迭代）如下所示。

Function map(key $i$ , dataset $D_i$ )

1. Read $(x_i,u_i,\hat{z})$ from distributed database

2. Compute $z:=\arg {min}_z(g\left(z\right)+\left(N\rho /2\right)|z-\hat{z}/N{|}_2^2)$

3. Update $u_i:=u_i+x_i-z$

4. Update $x_i:=\arg {min}_x(f_i\left(x\right)+\left(\rho /2\right)|x-z+u_i{|}_2^2)$

5. Emit (key $CENTRAL$ , record $(x_i,u_i)$ )

EndFunction

Function reduce (key $CENTRAL$ , records $(x_1,u_1),\dots ,(x_N,u_N)$ )

1. Update $\hat{z}:={\sum }_{i=1}^N(x_i+u_i)$

2. Emit (key $j$ , record $(x_j,u_j,z)$ ) to distributed database for $j=1,\dots ,N$

EndFunction

为了实现多次迭代，该算法需要由一个 wrapper 程序在每次迭代结束后判断是否满足迭代终止条件 $\rho \sqrt{N}\parallel z-z^{prev}{\parallel }_2\le {ϵ}^{conv}$ 且 $({\sum }_{i=1}^N\parallel x_i-z{\parallel }_2^2{)}^{1/2}\le {ϵ}^{feas}$ ，若不满足则启动下一次迭代。

参考文献

• Boyd S, Parikh N, Chu E, et al. Distributed optimization and statistical learning via the alternating direction method of multipliers[J]. Foundations and Trends® in Machine Learning, 2011, 3(1): 1-122.

• Eckstein J, Yao W. Understanding the convergence of the alternating direction method of multipliers: Theoretical and computational perspectives[J]. Pac. J. Optim., 2014.

• Lusk E, Huss S, Saphir B, et al. MPI: A Message-Passing Interface Standard Version 3.1[J], 2015.

• Dean J, Ghemawat S. MapReduce: simplified data processing on large clusters[J]. Communications of the ACM, 2008, 51(1): 107-113.