ADMM基本介绍

ADMM的运用主要在于处理含线性等式约束的优化问题，现在也被大量运用在深度学习等领域。其核心在于将原始的优化问题拆解成一些更好解决的子问题，进而解决最原始的优化问题。

基本模型

ADMM是通过对偶上升法推导延申的算法，最基础原始的问题是解决存在两个优化变量，并且只含等式约束的凸优化问题，其形式一般为：

可通过拉格朗日乘数法将该问题转化为无条件极值问题，同时还进行了增广处理，得到增广拉格朗日函数：

 在这之后，通过固定其他变量，每次只更新其中一个变量的办法来拆解原问题，进行迭代计算，直至满足迭代停止条件完成求解：

 在此基础上可以进行一个缩放，令，以达到简化拉格朗日函数的效果：

 这时的更新也就简化了：