增广拉格朗日乘子法、ADMM

增广拉格朗日乘子法

关于拉格朗日的定义，具体见：http://mp.blog.csdn.net/mdeditor/79341632

概述

增广拉格朗日乘子法（Augmented Lagrange Method），是用于解决等式约束条件下的优化问题。相对于朴素拉格朗日，它增加对偶上升法的鲁棒性和放松函数f的强凸约束，使得转换后的问题能够更容易求解，不至于因条件数变大不好求

形式：在朴素拉格朗日形式上加上一个惩罚项 $\frac{\rho}{2} \lVert \varphi(x) \rVert^2_2$

$$\left.\begin{array}{l} & \min{f(x)} \\ {\bf s.t.} & \varphi(x)=0 \end{array}\right\} \Rightarrow L(x,\lambda)=f(x)+\lambda \varphi(x)+\frac{\rho}{2} \lVert \varphi(x) \rVert^2_2，\text{其中惩罚因子 } \rho > 0 \tag{1}$$
关于范数，见： http://blog.csdn.net/Michael__Corleone/article/details/75213123

更新迭代

1. 假设 $\lambda^k$ 为当前 $k$ 轮迭代的对偶问题最优解
2. 求解 $x^{k+1}$：$x^{k+1}=\arg\min_x{L(x,\lambda^k)}$，其中 $L(x,\lambda)$ 定义如上（1）式
3. 梯度上升法更新 $\lambda$：$\lambda^{k+1}=\lambda^k+\alpha \cdot \frac{\partial{L(x,\lambda)}}{\partial{\lambda}}|_{x=x^{k+1},\lambda=\lambda^k}$

ADMM(Alternating Direction Method of Multipliers)

概述

交替方向乘子算法：将对偶上升法的可分解性和乘子法的上界收敛属性融合在一起的算法

博客链接1
博客链接2