凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之三:ADMM

原创 2015年07月08日 21:20:14

最近开始对凸优化(convex optimization)中的ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法开始感兴趣,接下来我会写一系列关于ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法的内容。

凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之三:ADMM

本文地址:http://blog.csdn.net/shanglianlm/article/details/46808793

3- 交替方向乘子算法(Alternating Direction Method of Multipliers)

如前文所述,ADMM是一个旨在将对偶上升法的可分解性和乘子法的上界收敛属性融合在一起的算法。

3-1 算法(Algorithm)

设有如下优化问题:

min f(x)+g(z)  s.t.  Ax+Bz=c        (3.1)

如同乘子法中一样,我们获得它的增广拉格朗日形式为:
Lρ(x,z,λ)=f(x)+g(z)+yT(Ax+Bzc)+(ρ/2)||Ax+Bzc||22

那么它的迭代方式为:
xk+1=argminxLρ(x,zk,λk)        (3.2)
zk+1=argminzLρ(xk+1,z,λk)        (3.3)
λk+1=λk+ρ(Axk+1+Bzk+1c)        (3.4)

其中增广拉格朗日参数ρ>0

乘子法关于(3.1)的求解
这里写图片描述
它要求对两个原始变量联合最小化。

3-1-1 缩放形式(Scaled Form)

定义残差 r=Ax+Bzc,有
这里写图片描述
其中 u=(1/ρ)yscaled dual variable。因此有
这里写图片描述
定义在 k 次迭代的残差为 rk=Axk+Bzkc, 有
这里写图片描述

3-2 收敛(Convergence)

这里写图片描述

  • 收敛到一个高的精度要求很多次迭代;
  • 但几十次迭代就可以达到一个合理的精度(类似于共轭梯度法(conjugate gradient method));
  • 可以和其他算法组合来产生一个高的精度。

3-3 优化条件和停止准则(Optimality Conditions and Stopping Criterion)

3-3-1 优化条件(Optimality Conditions)

ADMM问题(3.1)的充分必要优化条件为:原始可行性(primal feasibility)
这里写图片描述
和对偶可行性(dual feasibility)
这里写图片描述

3-3-2 停止准则(Stopping Criterion)

原始残差:rk+1=Axk+1+Bzk+1c<ϵprimal
对偶残差:sk+1=ρATB(zk+1zk)<ϵdual

3-4 扩展和变化(Extensions and Variations)

3-4-1 不同的惩罚参数(Varying Penalty Parameter)

这里写图片描述

[96] B. S. He, H. Yang, and S. L. Wang, “Alternating direction method with selfadaptive p enalty parameters for monotone variational inequalities,” Journal of Optimization Theory and Applications, vol. 106, no. 2, pp. 337–356, 2000.
[169] S. L. Wang and L. Z. Liao, “Decomposition method with a variable parameter for a class of monotone variational inequality problems,” Journal of Optimization Theory and Applications, vol. 109, no. 2, pp. 415–429, 2001.

3-4-2 更一般的增广项(More General Augmenting Terms)

取代 二次项(ρ/2)||r||22(1/2)rTPr,其中 P 是一个对称正定矩阵(symmetric positive definite matrix)。

3-4-3 过松弛(Over-relaxation)

这里写图片描述

[63] J. Eckstein and D. P. Bertsekas, “On the Douglas-Rachford splitting method and the proximal p oint algorithm for maximal monotone op erators,” Mathematical Programming, vol. 55, pp. 293–318, 1992.
[64] J. Eckstein and M. C. Ferris, “Operator-splitting methods for monotone affine variational inequalities, with a parallel application to optimal control,” INFORMS Journal on Computing, vol. 10, pp. 218–235, 1998.
[59] J. Eckstein, “Parallel alternating direction multiplier decomposition of convex programs,” Journal of Optimization Theory and Applications, vol. 80, no. 1, pp. 39–62, 1994.

3-4-4 不精确最小化(Inexact Minimization)

甚至当 x 和 z 最小化步骤不精确执行时, ADMM也会收敛。

[63] J. Eckstein and D. P. Bertsekas, “On the Douglas-Rachford splitting method and the proximal p oint algorithm for maximal monotone op erators,” Mathematical Programming, vol. 55, pp. 293–318, 1992.
[89] E. G. Gol’shtein and N. V. Tret’yakov, “Modified Lagrangians in convex programming and their generalizations,” Point-to-Set Maps and Mathematical Programming, pp. 86–97, 1979.

3-4-5 有序更新(Update Ordering)

执行 x-, z- 和 y-更新步骤不同的顺序或者多次。

[146] A. Ruszczy´nski, “An augmented Lagrangian decomposition method for block diagonal linear programming problems,” Operations Research Letters, vol. 8, no. 5, pp. 287–294, 1989.

参考或延伸材料:
[1]Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers
[2] 凸优化讲义
[3] A Note on the Alternating Direction Method of Multipliers

版权声明:本文为博主原创文章,欢迎转载,转载请注明出处。

凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法

[本文链接:http://www.cnblogs.com/breezedeus/p/3496819.html,转载请注明出处]最近开始对凸优化(convex optimization)开始感兴趣,接下...
  • shanglianlm
  • shanglianlm
  • 2015年05月22日 17:27
  • 15492

凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之四: General Patterns

凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之四: General Patterns 本文地址:http://bl...
  • shanglianlm
  • shanglianlm
  • 2015年07月09日 15:31
  • 2910

ADMM(alternating direction method of multipliers)

这个学期,老师让我们研究ADMM算法,这次就从表面来介绍下ADMM算法,待下次再详细具体的对ADMM进行梳理下。斯坦福的S. Boyd, N. Parikh, E. Chu, B. Peleato, ...
  • xxzhangx
  • xxzhangx
  • 2016年12月10日 20:01
  • 738

CVPR2017论文

CVPR2017论文 http://openaccess.thecvf.com/menu.py Computer Vision Foundation open access These re...
  • wzebinbin
  • wzebinbin
  • 2017年08月24日 11:31
  • 2274

关于ADMM的研究(一)

最近在研究正则化框架如何应用在大数据平台上。找到了《Distributed Optimization and Statistical Learning via the Alternating Di...
  • Angel_YJ
  • Angel_YJ
  • 2014年10月29日 15:56
  • 15535

ADMM优化算法

ADMM优化算法原文链接: http://www.cnblogs.com/breezedeus/p/3496819.html从等式约束的最小化问题说起:minf(x)s.t.Ax=b  \min f(...
  • BingeCuiLab
  • BingeCuiLab
  • 2015年08月03日 18:42
  • 2131

Multipliers

Description Ayrat has number n, represented as it's prime factorization pi of size m, i.e. n = ...
  • wsnbb123456789
  • wsnbb123456789
  • 2016年01月17日 13:53
  • 123

凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法

[转自:http://blog.csdn.net/shanglianlm/article/details/45919679] 最近开始对凸优化(convex optimization)开始感兴趣...
  • hhsh49
  • hhsh49
  • 2016年11月28日 11:09
  • 535

凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之六: L1-Norm Problems

最近开始对凸优化(convex optimization)中的ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法开始感兴趣,接下来我会写...
  • shanglianlm
  • shanglianlm
  • 2015年07月08日 19:58
  • 3142

ADMM在什么情况下使用,如何使用

原文链接:https://user.qzone.qq.com/553702786/blog/1500126869   写了大量基于ADMM的代码,总结一下ADMM的一般使用前提:AD...
  • u011650143
  • u011650143
  • 2017年07月18日 09:58
  • 575
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之三:ADMM
举报原因:
原因补充:

(最多只允许输入30个字)