admm算法_「优化」交替方向乘子法（ADMM）的基本原理

编者按：本文介绍ADMM最基本情形的推导。通过这篇文章，你将了解ADMM算法的基本思路，收敛性分析的基本原理，和它理论上的一些局限性。

文章作者：覃含章

责任编辑：覃含章

本文的内容主要来自著名的讲义：

Boyd S, Parikh N, Chu E, et al. Distributed optimization and statistical learning via the alternating direction method of multipliers[J]. Foundations and Trends® in Machine learning, 2011, 3(1): 1-122.

正文开始前多说几句。Stephen Boyd作为一名优化科学家，除了自己的很多研究，这辈子最杰出的贡献就是广泛地将优化理论严谨地介绍给了工程界。其中，ADMM就是一个很重要的例子。这个方法其实理论优化界早就研究了几十年(何炳生老师语)，但是也只是到了最近几年，如Boyd包括Stanford的Yinyu Ye老师等人，才对这方面的研究进行了“再挖掘”，引起了大家的广泛注意。