ADMM与乘子法的区别

设有如下优化问题：

$minf(x)+g(z)$
$s.tAx+Bz=c$

它的增广Language形式如下：

$$L_{\rho }(x,z,\lambda )=f(x)+g(z)+y^T(Ax+Bz-c)+(\rho /2)||Ax+Bz-c|{|}^2$$
其中 $\rho >0$为 增广Language参数。

乘子法思想：

{ x k + 1 , z k + 1 } = a r g m i n x , z L ρ ( x , z , λ k ) \{x^{k+1},z^{k+1}\}=argmin_{x,z}L_ρ(x,z,λ^k) {xk+1,zk+1}=argminx,z​Lρ​(x,z,λk)
${\lambda }^{k+1}={\lambda }^k+\rho (A{x}^{k+1}+B{z}^{k+1}-c)$

ADMM思想

ADMM是乘子法的一个改进，主要区别在Alternating Direction也就是交替更新原始变量。迭代格式如下：

$x^{k+1}=argmi{n}_x{L}_{\rho }(x,z^k,{\lambda }^k)$
$z^{k+1}=argmi{n}_z{L}_{\rho }(x^{k+1},z,{\lambda }^k)$
${\lambda }^{k+1}={\lambda }^k+\rho (A{x}^{k+1}+B{z}^{k+1}-c)$

注意到：ADMM中$\rho$往往取0~0.618之间（孙德峰老师提出的）.

对于凸优化而言，ADMM算法的想达到的最优性条件为：
原始可行性（primal feasibility）

$Ax+Bz=c$,

和对偶可行性（dual feasibility）:

$0\in \partial f(x)+A^{T}y$,
$0\in \partial g(z)+B^{T}y$.