最优化学习笔记：交替方向乘子法（1）

8.6 交替方向乘子法

本节首先介绍交替方向乘子法的基本算法；在介绍了 Douglas-Rachford Splitting 方法之后，说明将其应用在对偶问题上与将交替方向乘子法应用在原始问题上等价；然后给出交替方向乘子法的一些变形技巧，以及它和其他一些算法的关系；接着给出大量实际问题中的例子，并展示如何用交替方向乘子法来求解这些问题 ；最后给出交替方向乘子法的收敛性证明．

8.6.1 交替方向乘子法

本节考虑如下凸问题：
$$\begin{array}{rl}\underset{x_1,x_2}{\min }& f_1(x_1)+f_2(x_2)\\ s.t.& A_1{x}_1+A_2{x}_2=b\end{array}(\mathrm{8.6.1})$$

其中 $f_1,f_2$ 是适当的闭凸函数，但不要求是光滑的, $x_1\in {\mathbb{R}}^n,x_2\in {\mathbb{R}}^m$, $A_1\in {\mathbb{R}}^{p\times n},A_2\in {\mathbb{R}}^{p\times m},b\in {\mathbb{R}}^p$. 这个问题的特点是目标函数可以分成彼此分离的两块，但是变量被线性约束结合在一起. 常见的一些无约束和带约束的优化问题都可以表示成这一形式. 下面的一些例子将展示如何把某些一般的优化问题转化为适用交替方向乘子法求解的标准形式.

例 8.19 可以分成两块的无约束优化问题
$$\underset{x}{\min }{f}_1(x)+f_2(x)$$

为了将此问题转化为标准形式 (8.6.1)，需要将目标函数改成可分的形式．可以通过引入一个新的变量 $z$ 并令 $x=z$，将问题转化为
$$\begin{array}{rl}\underset{x,z}{\min }& f_1(x)+f_2(z)\\ s.t.& x-z=0\end{array}$$

例 8.20 带线性变换的无约束优化问题
$$\underset{x}{\min }{f}_1(x)+f_2(Ax)$$

类似地，我们可以引入一个新的变量 $z$，令 $z=Ax$，则问题变为
$$\begin{array}{rl}\underset{x,z}{\min }& f_1(x)+f_2(z)\\ s.t.& Ax-z=0\end{array}$$

对比问题 (8.6.1) 可知 $A_1=A$ 和 $A_2=-I$．

例 8.21 凸集上的约束优化问题
$$\begin{array}{rl}\underset{x}{\min }& f(x)\\ s.t.& Ax\in C\end{array}$$

其中 $C\subset {\mathbb{R}}^n$ 为凸集. 对于集合约束 $Ax\in C$, 可以用示性函数 $I_C(\cdot )$ 将其添加到目标函数中，那么问题可以转化为：
$$\underset{x}{\min }f(x)+I_C(Ax)$$

其中 $I_C(z)$ 是集合 $C$ 的示性函数，即
$$I_C(z)=\{\begin{array}{ll}0,& z\in C,\\ +\infty ,& \text{其他}.\end{array}$$

再引入约束 $z=Ax$，那么问题转化为
$$\begin{gathered} \underset{x,z}{\min }f(x)+I_C(z) \\ s.t.Ax-z=0 \end{gathered}$$

例 8.22 全局一致性问题 (global consensus problem)
$$\underset{x}{\min }\sum _{i=1}^N{\varphi }_i(x)$$

令 $x=z$, 并将 $x$ 复制 $N$ 份，分别为 $x_i$, 那么问题转化为
$$\begin{array}{rlrl}& \underset{x_i,z}{\min }& & \sum _{i=1}^N{\varphi }_i(x_i)\\ & s.t.& & x_i-z=0,i=1,2,\cdots ,N\end{array}$$

在这里注意，从形式上看全局一致性问题仍然具有问题 (8.6.1) 的结构：如果令
$$x=(x_1^{\mathrm{T}},x_2^{\mathrm{T}},\cdots ,x_N^{\mathrm{T}}{)}^{\mathrm{T}}$$

以及
$$f_1(x)=\sum _{i=1}^N{\varphi }_i(x_i),f_2(z)=0,$$

则此问题可以化为
$$\begin{array}{rl}& \underset{x,z}{\min }{f}_1(x)+f_2(z),\\ & s.t.A_{1}x-A_{2}z=0,\end{array}$$

其中矩阵 $A_1,A_2$ 定义为：
$$A_1=\left[\begin{array}{ccccc}I& & & & \\ & I& & & \\ & & \ddots & & \\ & & & I& \end{array}\right],A_2=\left[\begin{array}{c}I\\ I\\ ⋮\\ I\end{array}\right].$$

在全局一致性问题的例子中，我们将问题重写为具有两个变量块的形式，而不是简单地将问题 (8.6.1) 推广为多个变量块的形式．

例 8.23 共享问题 (Sharing Problem)
$$\underset{x_i}{\min }\sum _{i=1}^N{f}_i(x_i)+g\left(\sum _{i=1}^N{x}_i\right)$$

为了使目标函数可分，我们将 $g$ 的变量 $x_i$ 分别复制一份为 $z_i$, 那么该问题转化为
$$\begin{gathered} \underset{x_i,z_i}{\min }\sum _{i=1}^N{f}_i(x_i)+g\left(\sum _{i=1}^N{z}_i\right) \\ s.t.x_i-z_i=0,i=1,2,\cdots ,N. \end{gathered}$$

下面给出交替方向乘子法(alternating direction method of multipliers, ADMM) 的迭代格式，首先写出问题 (8.6.1) 的增广拉格朗日函数
$$\begin{array}{r}{L}_{\rho }(x_1,x_2,y)=f_1(x_1)+f_2(x_2)+y^{\mathrm{T}}(A_1{x}_1+A_2{x}_2-b)+\frac{\rho }{2}\Vert A_1{x}_1+A_2{x}_2-b{\Vert }_2^2\end{array}(\mathrm{8.6.2})$$

其中 $\rho >0$ 是二次罚项的系数. 常见的求解带约束问题的增广拉格朗日函数法为如下更新：
$$\begin{array}{rl}(x_1^{k+1},x_2^{k+1})& =\underset{x_1,x_2}{\mathrm{argmin}}{L}_{\rho }(x_1,x_2,y^k)(\mathrm{8.6.3})\\ y^{k+1}& =y^k+\tau \rho (A_1{x}_1^{k+1}+A_2{x}_2^{k+1}-b)(\mathrm{8.6.4})\end{array}$$

其中 $\tau$ 为步长.
交替方向乘子法的基本思路：第一步迭代 (8.6.3) 同时对 $x_1$ 和 $x_2$ 进行优化有时候比较困难，而固定一个变量求解关于另一个变量的极小问题可能比较简单，因此我们可以考虑对 $x_1$ 和 $x_2$ 交替求极小. 其迭代格式可以总结如下：
$$\begin{array}{rlr}& x_1^{k+1}=\underset{x_1}{\mathrm{argmin}}{L}_{\rho }(x_1,x_2^k,y^k)& (\mathrm{8.6.5})\\ & x_2^{k+1}=\underset{x_2}{\mathrm{argmin}}{L}_{\rho }(x_1^{k+1},x_2,y^k)& (\mathrm{8.6.6})\\ & y^{k+1}=y^k+\tau \rho (A_1{x}_1^{k+1}+A_2{x}_2^{k+1}-b)& (\mathrm{8.6.7})\end{array}$$

其中 $\tau$ 为步长，通常取值于 $\left(0,\frac{1+\sqrt{5}}{2}\right]$.

观察交替方向乘子法的迭代格式，第一步固定 $x_2,y$ 对 $x_1$ 求极小；第二步固定 $x_1,y$ 对 $x_2$ 求极小；第三步更新拉格朗日乘子 $y$. 这一迭代格式和之前讨论的交替极小化方法 (8.5.9) 非常相似. 它们的区别是交替极小化方法的第一步是针对拉格朗日函数求极小，而 ADMM 的第一步将其换成了增广拉格朗日函数. 虽然从形式上看两个算法只是略有差别，但这种改变会带来截然不同的算法表现. ADMM 的一个最直接的改善就是去掉了目标函数 $f_1(x)$ 强凸的要求，其本质还是由于它引入了二次罚项. 而在交替极小化方法中我们要求 $f(x)$ 为强凸函数.
需要注意的是，虽然交替方向乘子法引入了二次罚项，但对一般的闭凸函数 $f_1$ 和 $f_2$, 迭代格式 (8.6.5) 和迭代格式 (8.6.6) 在某些特殊情况下仍然不是良定义的. 本节假设每个子问题的解均是存在且唯一的，注意这个假设对一般的闭凸函数是不成立的.
与无约束优化问题不同，交替方向乘子法针对的问题 (8.6.1) 是带约束的优化问题，因此算法的收敛准则应当借助约束优化问题的最优性条件 (KKT 条件). 因为 $f_1,f_2$ 均为闭凸函数，约束为线性约束，所以当 Slater 条件成立时，可以使用凸优化问题的 KKT 条件来作为交替方向乘子法的收敛准则. 问题 (8.6.1) 的拉格朗日函数为
$$L(x_1,x_2,y)=f_1(x_1)+f_2(x_2)+y^{\mathrm{T}}(A_1{x}_1+A_2{x}_2-b)$$

根据最优性条件定理, 若 $x_1^{\ast },x_2^{\ast }$ 为问题 (8.6.1) 的最优解，$y^{\ast }$ 为对应的拉格朗日乘子，则以下条件满足：
$$\begin{array}{rlr}0\in {\partial }_{x_1}L(x_1^{\ast },x_2^{\ast },y^{\ast })& =\partial f_1(x_1^{\ast })+A_1^{\mathrm{T}}{y}^{\ast }& (\mathrm{8.6.8}a)\\ 0\in {\partial }_{x_2}L(x_1^{\ast },x_2^{\ast },y^{\ast })& =\partial f_2(x_2^{\ast })+A_2^{\mathrm{T}}{y}^{\ast }& (\mathrm{8.6.8}b)\\ A_1{x}_1^{\ast }+A_2{x}_2^{\ast }& =b& (\mathrm{8.6.8}c)\end{array}$$

在这里条件 (8.6.8c) 又称为原始可行性条件，条件 (8.6.8a) 和条件 (8.6.8b) 又称为对偶可行性条件．由于问题中只含等式约束，KKT 条件中的互补松弛条件可以不加考虑．在 ADMM 迭代中，我们得到的迭代点实际为 $(x_1^k,x_2^k,y^k)$, 因此收敛准则应当针对 $(x_1^k,x_2^k,y^k)$ 检测条件 (8.6.8)．接下来讨论如何具体计算这些收敛准则．
一般来说，原始可行性条件 (8.6.8c) 在迭代中是不满足的，为了检测这个条件，需要计算原始可行性残差的模长，这一计算是比较容易的．
$$r^k=A_1{x}_1^k+A_2{x}_2^k-b$$

下面来看两个对偶可行性条件．考虑 ADMM 迭代更新 $x_2$ 的步骤
$$x_2^k=\underset{x}{\mathrm{argmin}}\left\{f_2(x)+\frac{\rho }{2}{\Vert A_1{x}_1^k+A_{2}x-b+\frac{y^{k-1}}{\rho }\Vert }^2\right\}$$

假设这一子问题有显式解或能够精确求解，根据最优性条件推出
$$0\in \partial f_2(x_2^k)+A_2^{\mathrm{T}}[y^{k-1}+\rho (A_1{x}_1^k+A_2{x}_2^k-b)](\mathrm{8.6.9})$$

注意到当 ADMM 步长 $\tau =1$ 时，根据迭代 (8.6.7) 可知上式方括号中的表达式就是 $y^k$, 最终有
$$0\in \partial f_2(x_2^k)+A_2^{\mathrm{T}}{y}^k$$

这恰好就是条件 (8.6.8b). 上面的分析说明在 ADMM 迭代过程中，若 $x_2$ 的更新能取到精确解且步长 $\tau =1$, 对偶可行性条件 (8.6.8b) 是自然成立的，因此无需针对条件 (8.6.8b) 单独验证最优性条件. 然而，在迭代过程中条件 (8.6.8a) 却不能自然满足. 实际上，由 $x_1$ 的更新公式
$$x_1^k=\underset{x}{\mathrm{argmin}}\left\{f_1(x)+\frac{\rho }{2}\Vert A_{1}x+A_2{x}_2^{k-1}-b+\frac{y^{k-1}}{\rho }{\Vert }^2\right\}$$

假设子问题能精确求解，根据最优性条件
$$0\in \partial f_1(x_1^k)+A_1^{\mathrm{T}}[\rho (A_1{x}_1^k+A_2{x}_2^{k-1}-b)+y^{k-1}]$$

注意，这里 $x_2$ 上标是 $k-1$, 因此根据 ADMM 的第三式 (8.6.7), 同样取 $\tau =1$, 有
$$0\in \partial f_1(x_1^k)+A_1^{\mathrm{T}}(y^k+\rho A_2(x_2^{k-1}-x_2^k))(\mathrm{8.6.10})$$

对比条件 (8.6.8a) 可知多出来的项为 $\rho A_1^{\mathrm{T}}{A}_2(x_2^{k-1}-x_2^k)$, 因此要检测对偶可行性只需要检测残差
$$s^k=A_1^{\mathrm{T}}{A}_2(x_2^{k-1}-x_2^k)$$

是否充分小. 综上，当 $x_2$ 更新取到精确解且 $\tau =1$ 时，判断 ADMM 是否收敛只需要检测前述两个残差 $r^k,s^k$ 是否充分小：
$$\begin{array}{r}0\approx \Vert r^k\Vert =\Vert A_1{x}_1^k+A_2{x}_2^k-b\Vert (原始可行性)\\ 0\approx \Vert s^k\Vert =\Vert A_1^{\mathrm{T}}{A}_2(x_2^{k-1}-x_2^k)\Vert (对偶可行性)\end{array}(\mathrm{8.6.11})$$

8.6.2 Douglas-Rachford Splitting 算法

Douglas-Rachford Splitting (DRS) 算法是一类非常重要的算子分裂算法. 它可以用于求解下面的无约束优化问题：
$$\underset{x}{\min }\psi (x)=f(x)+h(x)(\mathrm{8.6.12})$$

其中 $f$ 和 $h$ 是闭凸函数. DRS 算法的迭代格式是
$$\begin{array}{rlr}& x^{k+1}={\mathrm{prox}}_{th}(z^k)& (\mathrm{8.6.13})\\ & y^{k+1}={\mathrm{prox}}_{tf}(2x^{k+1}-z^k)& (\mathrm{8.6.14})\\ & z^{k+1}=z^k+y^{k+1}-x^{k+1}& (\mathrm{8.6.15})\end{array}$$

其中 $t$ 是一个正的常数. 我们还可以通过一系列变形来得到 DRS 格式的等价迭代. 首先在原始 DRS 格式中按照 $y,z,x$ 的顺序进行更新，则有
$$\begin{array}{rl}& y^{k+1}={\mathrm{prox}}_{tf}(2x^k-z^k)\\ & z^{k+1}=z^k+y^{k+1}-x^k\\ & x^{k+1}={\mathrm{prox}}_{th}(z^{k+1})\end{array}$$

引入辅助变量 $w^k=z^k-x^k$, 并注意到上面迭代中变量 $z^k,z^{k+1}$ 可以消去，则得到 DRS 算法的等价迭代格式
$$\begin{array}{rlr}{y}^{k+1}& ={\mathrm{prox}}_{tf}(x^k-w^k)& (\mathrm{8.6.16})\\ x^{k+1}& ={\mathrm{prox}}_{th}(w^k+y^{k+1})& (\mathrm{8.6.17})\\ w^{k+1}& =w^k+y^{k+1}-x^{k+1}& (\mathrm{8.6.18})\end{array}$$

DRS 格式还可以写成关于 $z^k$ 的不动点迭代的形式
$$z^{k+1}=T(z^k)(\mathrm{8.6.19})$$

其中 $$T(z)=z+{\mathrm{prox}}_{tf}\left(2{\mathrm{prox}}_{th}(z)-z\right)-{\mathrm{prox}}_{th}(z)$$

将 DRS 格式写成不动点迭代的形式是有好处的：第一，它去掉了迭代中的 $x^k,y^k$ 变量，使得算法形式更加简洁；第二，对不动点迭代的收敛性研究有一些常用的工具和技术手段，例如泛函分析中的压缩映射原理；第三，针对不动点迭代可写出很多种不同类型的加速算法.

下面的定理给出 $T$ 的不动点与 $f+h$ 的极小值之间的关系：

定理8.14 (1) 若 $z$ 是 (8.6.19) 中 $T$ 的一个不动点，即 $z=T(z)$, 则 $x={\mathrm{prox}}_{th}(z)$ 是问题 (8.6.12) 的一个最小值点.
(2) 若 $x$ 是问题 (8.6.12) 的一个最小值点，则存在 $u\in t\partial f(x)\cap (-t\partial h(x))$, 且 $x-u=T(x-u)$, 即 $x-u$ 是 $T$ 的一个不动点.
证明
(1) 如果 $z$ 是 $T$ 的一个不动点，即
$$z=T(z)=z+{\mathrm{prox}}_{tf}\left(2{\mathrm{prox}}_{th}(z)-z\right)-{\mathrm{prox}}_{th}(z)$$

令 $x={\mathrm{prox}}_{th}(z)$, 则
$${\mathrm{prox}}_{tf}(2x-z)=x={\mathrm{prox}}_{th}(z)$$

由邻近算子的定义和最优性条件得
$$x-z\in t\partial f(x),z-x\in t\partial h(x).$$

因此，
$$0\in t\partial f(x)+t\partial h(x).$$

根据凸优化问题的一阶充要条件知 $x={\mathrm{prox}}_{th}(z)$ 是问题 (8.6.12) 的一个最小值点.
(2) 因为 $x$ 是问题 (8.6.12) 一个最小值点，根据一阶充要条件，
$$0\in t\partial f(x)+t\partial h(x)$$

这等价于存在 $u\in t\partial f(x)\cap (-t\partial h(x))$. 由定理 8.2,
$$\begin{array}{rl}u\in t\partial f(x)& ⟺x={\mathrm{prox}}_{tf}(x+u)\\ u\in (-t\partial h(x))& ⟺x={\mathrm{prox}}_{th}(x-u)\end{array}$$

然后可以得到
$$\begin{array}{rl}& {\mathrm{prox}}_{tf}\left(2{\mathrm{prox}}_{th}(x-u)-(x-u)\right)-{\mathrm{prox}}_{th}(x-u)\\ =& {\mathrm{prox}}_{tf}(2x-x+u)-x=x-x=0\end{array}$$

即
$$x-u=T(x-u)$$

对于不动点迭代，我们可以通过添加松弛项来加快收敛速度，即
$$z^{k+1}=z^k+\rho (T(z^k)-z^k)$$

其中，当 $1<\rho <2$ 时是超松弛，$0<\rho <1$ 是欠松弛. 从而得到 DRS 算法的松弛版本
$$\begin{array}{rl}& x^{k+1}={\mathrm{prox}}_{th}(z^k)\\ & y^{k+1}={\mathrm{prox}}_{tf}(2x^{k+1}-z^k)\\ & z^{k+1}=z^k+\rho (y^{k+1}-x^{k+1})\end{array}$$

其等价形式为
$$\begin{array}{rl}& y^{k+1}={\mathrm{prox}}_{tf}(x^k-w^k)\\ & x^{k+1}={\mathrm{prox}}_{th}((1-\rho )x^k+\rho y^{k+1}+w^k)\\ & w^{k+1}=w^k+\rho y^{k+1}+(1-\rho )x^k-x^{k+1}\end{array}$$

DRS 算法和 ADMM 有一定的等价关系. 考虑本章开始引入的可分的凸问题 (8.6.1)：
$$\begin{array}{rl}& \underset{x_1,x_2}{\min }{f}_1(x_1)+f_2(x_2)\\ & s.t.A_1{x}_1+A_2{x}_2=b\end{array}$$

它的对偶问题为无约束复合优化问题
$$\underset{z}{\min }\underset{f(z)}{\underbrace{b^{\mathrm{T}}z+f_1^{\ast }(-{A_1}^{\mathrm{T}}z)}}+\underset{h(z)}{\underbrace{f_2^{\ast }(-{A_2}^{\mathrm{T}}z)}}(\mathrm{8.6.20})$$

根据问题 (8.6.20) 的结构拆分出 $f(z)$ 和 $h(z)$, 我们对该问题使用 DRS 算法求解. 下面这个定理表明，对原始问题 (8.6.1) 使用 ADMM 求解就等价于将 DRS 算法应用在对偶问题 (8.6.20) 上.

定理 8.15 如果 $w^1=-t{A}_2{x}_2^0$, 那么对问题 (8.6.20) 应用迭代格式 (8.6.16)-(8.6.18) 等价于运用 ADMM 到问题 (8.6.1).
证明
对于迭代格式 (8.6.16)$$y^{k+1}={\mathrm{prox}}_{tf}(x^k-w^k)，$$

其最优性条件为
$$0\in \partial {\left(\frac{1}{2t}\Vert y-(x^k-w^k){\Vert }_2^2+f(y)\right)|}_{y=y^{k+1}}$$

简化为：$0\in \frac{1}{t}(y^{k+1}-(x^k-w^k))+\partial f(y^{k+1})$
由于 $f(z)=b^{\mathrm{T}}z+f_1^{\ast }(-A_1^{\mathrm{T}}z)$, 有 $\partial f(z)=b-A_1\partial f_1^{\ast }(-A_1^{\text{T}}z)$
因此, 最优性条件变为:
$$0\in \frac{1}{t}(y^{k+1}-(x^k-w^k))+b-A_1\partial f_1^{\ast }(-A_1^{\mathrm{T}}{y}^{k+1})$$

即得到
$$0\in tb-t{A}_1\partial f_1^{\ast }(-A_1^{\mathrm{T}}{y}^{k+1})-x^k+w^k+y^{k+1}$$

上式等价于存在 $x_1^k\in \partial f_1^{\ast }(-A_1^{\mathrm{T}}{y}^{k+1})$, 使得
$$y^{k+1}=x^k-w^k+t(A_1{x}_1^k-b)(\mathrm{8.6.21})$$

根据命题 8.2, $-A_1^{\mathrm{T}}{y}^{k+1}\in \partial f_1(x_1^k)$, 故
$$-A_1^{\mathrm{T}}(x^k-w^k+t(A_1{x}_1^k-b))\in \partial f_1(x_1^k)$$

这就是如下更新
$$x_1^k=\underset{x_1}{\mathrm{argmin}}\left\{f_1(x_1)+{(x^k)}^{\mathrm{T}}(A_1{x}_1-b)+\frac{t}{2}\Vert A_1{x}_1-b-\frac{w^k}{t}{\Vert }_2^2\right\}$$

的最优性条件.
类似地，迭代 (8.6.17) 的最优性条件为
$$0\in t{A}_2\partial f_2^{\ast }(-A_2^{\mathrm{T}}{x}^{k+1})+w^k+y^{k+1}-x^{k+1}$$

其等价于存在 $x_2^k\in \partial f_2^{\ast }(-A_2^{\mathrm{T}}{x}^{k+1})$, 使得
$$x^{k+1}=x^k+t(A_1{x}_1^k+A_2{x}_2^k-b)(\mathrm{8.6.22})$$

同样地，根据命题 8.2, $-A_2^{\mathrm{T}}{x}^{k+1}\in \partial f_2(x_2^k)$, 所以可得
$$-A_2^{\mathrm{T}}(x^k+t(A_1{x}_1^k+A_2{x}_2^k-b))\in \partial f_2(x_2^k)$$

其等价于
$$x_2^k=\underset{x_2}{\mathrm{argmin}}\left\{f_2(x_2)+{(x^k)}^{\mathrm{T}}(A_2{x}_2)+\frac{t}{2}\Vert A_1{x}_1^k+A_2{x}_2-b{\Vert }_2^2\right\}$$

由 (8.6.21) 式和 (8.6.22) 式可得 $w$- 更新转化为 $w^{k+1}=-t{A}_2{x}_2^k$. 令 $z^k=x^{k+1}$, 总结上面的更新，可得
$$\begin{array}{rl}& x_1^k=\underset{x_1}{\mathrm{argmin}}\left\{f_1(x_1)+(z^{k-1}{)}^{\mathrm{T}}{A}_1{x}_1+\frac{t}{2}\Vert A_1{x}_1+A_2{x}_2^{k-1}-b{\Vert }^2\right\}\\ & x_2^k=\underset{x_2}{\mathrm{argmin}}\left\{f_2(x_2)+(z^{k-1}{)}^{\mathrm{T}}{A}_2{x}_2+\frac{t}{2}\Vert A_1{x}_1^k+A_2{x}_2-b{\Vert }^2\right\}\\ & z^k=z^{k-1}+t\left(A_1{x}_1^k+A_2{x}_2^k-b\right)\end{array}$$

这就是交替方向乘子法应用到问题 (8.6.1)，其中罚因子 $\rho =t$，步长 $\tau =1$.
以上论证过程均可以反推，因此等价性成立．

8.6.3 常见变形和技巧

本小节将给出交替方向乘子法的一些变形以及实现交替方向乘子法的一些技巧．

1. 线性化
我们构造 ADMM 的初衷是将自变量拆分，最终使得关于 $x_1$ 和 $x_2$ 的子问题有显式解．但是在实际应用中，有时子问题并不容易求解，或者没有必要精确求解. 下面介绍如何寻找子问题的近似.
不失一般性，我们考虑第一个子问题，即
$$\underset{x_1}{\min }{f}_1(x_1)+\frac{\rho }{2}\Vert A_1{x}_1-v^k{\Vert }^2(\mathrm{8.6.23})$$

其中
$$v^k=b-A_2{x}_2^k-\frac{1}{\rho }{y}^k(\mathrm{8.6.24})$$

当子问题不能显式求解时，可采用线性化的方法近似求解问题 (8.6.23). 线性化技巧实际上是使用近似点项对子问题目标函数进行二次近似. 当子问题目标函数可微时，线性化将问题 (8.6.23) 变为
$$x_1^{k+1}=\underset{x_1}{\mathrm{argmin}}\left\{{\left(\nabla f_1(x_1^k)+\rho A_1^{\mathrm{T}}\left(A_1{x}_1^k-v^k\right)\right)}^{\mathrm{T}}{x}_1+\frac{1}{2{\eta }_k}\Vert x_1-x^k{\Vert }_2^2\right\}$$

其中 ${\eta }_k$ 是步长参数，这等价于做一步梯度下降. 当目标函数不可微时，可以考虑只将二次项线性化，即
$$x_1^{k+1}=\underset{x_1}{\mathrm{argmin}}\left\{f_1(x_1)+\rho {\left(A_1^{\mathrm{T}}(A_1{x}_1^k-v^k)\right)}^{\mathrm{T}}{x}_1+\frac{1}{2{\eta }_k}\Vert x_1-x^k{\Vert }_2^2\right\}$$

这等价于求解子问题 (8.6.23) 时做一步近似点梯度步. 若 $f_1(x_1)$ 是可微函数与不可微函数的和时，也可将其可微部分线性化.

2. 缓存分解
如果目标函数中含二次函数，例如 $f_1(x_1)=\frac{1}{2}\Vert C{x}_1-d{\Vert }_2^2$, 那么针对 $x_1$ 的更新 (8.6.5) 等价于求解线性方程组
$$(C^{\mathrm{T}}C+\rho A_1^{\mathrm{T}}{A}_1)x_1=C^{\mathrm{T}}d+\rho A_1^{\mathrm{T}}{v}^k$$

虽然子问题有显式解，但是每步求解的复杂度仍然比较高，这时候可以考虑用缓存分解的方法. 首先对 $C^{\mathrm{T}}C+\rho A_1^{\mathrm{T}}{A}_1$ 进行 Cholesky 分解并缓存分解的结果，在每步迭代中只需要求解简单的三角形方程组；当 $\rho$ 发生更新时，就要重新进行分解. 特别地，当 $C^{\mathrm{T}}C+\rho A_1^{\mathrm{T}}{A}_1$ 一部分容易求逆，另一部分是低秩的情形时，可以用 SMW 公式来求逆.

3. 优化转移
有时候为了方便求解子问题，可以用一个性质好的矩阵 $D$ 近似二次项 $A_1^{\mathrm{T}}{A}_1$, 此时子问题 (8.6.23) 替换为
$$x_1^{k+1}=\underset{x_1}{\mathrm{argmin}}\left\{f_1(x_1)+\frac{\rho }{2}\Vert A_1{x}_1-v^k{\Vert }_2^2+\frac{\rho }{2}(x_1-x^k{)}^{\mathrm{T}}(D-A_1^{\mathrm{T}}{A}_1)(x_1-x^k)\right\}$$

这种方法也称为优化转移. 通过选取合适的 $D$, 当计算 $\underset{x_1}{\mathrm{argmin}}\left\{f_1(x_1)+\frac{\rho }{2}{x}_1^{\mathrm{T}}D{x}_1\right\}$ 明显比计算 arg min ⁡ x 1 { f 1 ( x 1 ) + ρ 2 x 1 T A 1 T A 1 x 1 } \argmin\limits_{x_1}\{f_1(x_1)+\displaystyle\frac{\rho}{2}x_{1}^{\mathrm{T}}A_{1}^{\mathrm{T}}A_{1}x_{1}\} x1​argmin​{f1​(x1​)+2ρ​x1T​A1T​A1​x1​} 要容易时，优化转移可以极大地简化子问题的计算. 特别地，当 $D=\frac{{\eta }_k}{\rho }I$ 时，优化转移等价于做单步的近似点梯度步.

4. 二次罚项系数的动态调节
在介绍 ADMM 时我们引入了原始可行性和对偶可行性 (分别用 $\Vert r^k\Vert$ 和 $\Vert s^k\Vert$ 度量), 见 (8.6.11) 式. 在实际求解过程中，二次罚项系数 $\rho$ 太大会导致原始可行性 $\Vert r^k\Vert$ 下降很快，但是对偶可行性 $\Vert s^k\Vert$ 下降很慢；二次罚项系数太小，则会有相反的效果. 这样都会导致收敛比较慢或得到的解的可行性很差.
一个自然的想法是在每次迭代时动态调节惩罚系数 $\rho$ 的大小，从而使得原始可行性和对偶可行性能够以比较一致的速度下降到零. 这种做法通常可以改善算法在实际中的收敛效果，以及使算法表现更少地依赖于惩罚系数的初始选择. 一个简单有效的方式是令
$${\rho }^{k+1}=\{\begin{array}{ll}{\gamma }_p{\rho }^k,& \Vert r^k\Vert >\mu \Vert s^k\Vert \\ \frac{{\rho }^k}{{\gamma }_d},& \Vert s^k\Vert >\mu \Vert r^k\Vert \\ {\rho }^k,& \text{其他}\end{array}$$

其中 $\mu >1,{\gamma }_p>1,{\gamma }_d>1$ 是参数. 常见的选择为 $\mu =10,{\gamma }_p={\gamma }_d=2$. 该惩罚参数更新方式背后的想法是在迭代过程中，将原始可行性 $\Vert r^k\Vert$ 和对偶可行性 $\Vert s^k\Vert$ 保持在彼此的 $\mu$ 倍内. 如果发现 $\Vert r^k\Vert$ 或 $\Vert s^k\Vert$ 下降过慢就应该相应增大或减小二次罚项系数 ${\rho }^k$. 但在改变 ${\rho }^k$ 的时候需要注意，若之前利用了缓存分解的技巧，此时分解需要重新计算.
更一般地，我们可以考虑对每一个约束给一个不同的惩罚系数，甚至可以将增广拉格朗日函数 (8.6.2) 中的二次项 $\frac{\rho }{2}\Vert r{\Vert }^2$ 替换为 $\frac{\rho }{2}{r}^{\mathrm{T}}Pr$, 其中 $P$ 是一个对称正定矩阵. 如果 $P$ 在整个迭代过程中是不变的，我们可以将这个一般的交替方向乘子法解释为将标准的交替方向乘子法应用在修改后的初始问题上——等式约束 $A_1{x}_1+A_2{x}_2-b=0$ 替换为 $F(A_1{x}_1+A_2{x}_2-b)=0$, 其中 $F$ 为 $P$ 的 Cholesky 因子，即 $F^{\mathrm{T}}F=P$, 且 $F$ 是对角元为正数的上三角矩阵.

5. 超松弛
另外一种想法是用超松弛的技巧，在 (8.6.6) 式与 (8.6.7) 式中，$A_1{x}_1^{k+1}$ 可以被替换为
$${\alpha }_k{A}_1{x}_1^{k+1}-(1-{\alpha }_k)(A_2{x}_2^k-b)$$

其中 ${\alpha }_k\in (0,2)$ 是一个松弛参数. 当 ${\alpha }_k>1$ 时，这种技巧称为超松弛；当 ${\alpha }_k<1$ 时，这种技巧称为欠松弛. 实验表明 ${\alpha }_k\in [1.5,1.8]$ 的超松弛可以提高收敛速度.

6. 多块与非凸问题的 ADMM
在引入问题 (8.6.1) 时，我们提到了有两块变量 $x_1,x_2$. 这个问题推广到有多块变量的情形：
$$\begin{array}{rl}\underset{x_1,x_2,\cdots ,x_N}{\min }& f_1(x_1)+f_2(x_2)+\cdots +f_N(x_N)\\ s.t.& A_1{x}_1+A_2{x}_2+\cdots +A_N{x}_N=b\end{array}(\mathrm{8.6.25})$$

这里 $f_i(x_i)$ 是闭凸函数 $,x_i\in {\mathbb{R}}^{n_i},A_i\in {\mathbb{R}}^{m\times n_i}.$ 同样可以写出问题 (8.6.25) 的增广拉格朗日函数 $L_{\rho }(x_1,x_2,\cdots ,x_N,y)$, 相应的多块 ADMM 迭代格式为
$$\begin{array}{rl}& x_1^{k+1}=\underset{x}{\mathrm{argmin}}{L}_{\rho }(x,x_2^k,\cdots ,x_N^k,y^k),\\ & x_2^{k+1}=\underset{x}{\mathrm{argmin}}{L}_{\rho }(x_1^{k+1},x,\cdots ,x_N^k,y^k),\\ & \dots \\ & x_N^{k+1}=\underset{x}{\mathrm{argmin}}{L}_{\rho }(x_1^{k+1},x_2^{k+1},\cdots ,x,y^k),\\ & y^{k+1}=y^k+\tau \rho (A_1{x}_1^{k+1}+A_2{x}_2^{k+1}+\cdots +A_N{x}_N^{k+1}-b),\end{array}$$

其中 $\tau \in \left(0,\frac{\sqrt{5}+1}{2}\right)$ 为步长参数。

针对非凸问题，ADMM 格式可能不是良定义的，即每个子问题可能不存在最小值或最小值点不唯一. 若只考虑子问题解存在的情形，我们依然可以形式上利用 ADMM 格式 (8.6.5)-(8.6.7) 对非凸问题进行求解. 这里 $\mathrm{argmin}$ 应该理解为选取子问题最小值点中的一个.
和有两块变量的凸问题上的 ADMM 格式相比，多块(非凸) ADMM 可能不具有收敛性. 但在找到有效算法之前，这两种 ADMM 算法的变形都值得一试. 它们在某些实际问题上也有不错的效果.

参考教材《最优化：建模、算法与理论》