【First-order Methods】 15 ADMM

1  The Augmented Lagrangian Method

增广拉格朗日方法

我们考虑：

                                     

为了得到其对偶问题，我们构造其拉格朗日函数：

                                         

对偶问题：

                                     

               

由Fermat最优性条件有：

由推论4.21

因为，

0属于上式集合中，上式中可取到某个使上式为0

当它等于0时，便得到的更新公式，其中

即上述算法更新的另一种写法

---

2  Alternating Direction Method of Multipliers(ADMM)

增广拉格朗日的更新方法可能同原问题一样难以解决，难点在于x  z之间的耦合项，ADMM通过交替极小化来解决。

 

提出一个比ADMM更实用的方法AD-PMM方法

在求极小化问题时增加一个二次的临近项

简化ADMM中取极小化的问题

线性化了二次项并增加一个临近项

---

3  Convergence Analysis of AD-PMM

ADMM、AD-LPMM都可以看作AD-PMM的特殊形式