凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之二:Precursors

原创 2015年07月08日 21:18:22

最近开始对凸优化(convex optimization)中的ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法开始感兴趣,接下来我会写一系列关于ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法的内容。

凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之二:Precursors

[本文地址:http://blog.csdn.net/shanglianlm/article/details/46808763]

2- 先导(Precursors)

2-1 对偶上升法(Dual Ascent)

设有如下优化问题:

minf(x)   s.t.    Ax=b         (2.1)

它的拉格朗日形式为:
L(x,λ)=f(x)+λT(Axb)

对偶形式为:
g(λ)=infxL(x,λ)=f(ATλ)bTλ

其中 f^* 是 f 的共轭函数。

The conjugate function
这里写图片描述
这里写图片描述

对偶问题为:

max g(λ)

假设强对偶成立,原问题和对偶问题的最优值一样(Assuming that strong duality holds, the optimal values of the primal and dual problems are the same)。
这里写图片描述

对偶上升法的迭代更新为:

xk+1=argminxL(x,λk)             (2.2)    x-
λk+1=λk+αk(Axk+1b)                (2.3)     

其中αk>0是步长。

2-2 对偶分解法(Dual Decomposition)

假设目标函数是可以分解的,即

f(x)=i=1Nfi(xi)

因此,拉格朗日函数可以改写为:
L(x,λ)=i=1NLi(xi,λ)=i=1N(fi(xi)+λTAixi(1/N)λTb)

所以它的迭代更新为:
xk+1i=argminxiLi(xi,λk)        (2.4)
λk+1=λk+αk(Axk+1b)        (2.5)

2-3 增广拉格朗日(Augmented Lagrangians)

为了增加对偶上升法的鲁棒性和放松函数 f 的强凸约束,我们引入增广拉格朗日(Augmented Lagrangians)形式:

Lρ(x,λ)=f(x)+λT(Axb)+(ρ/2)||Axb||22        (2.6)

其中惩罚因子ρ>0
与 (2.1) 式相比,(2.6) 式只是增加了一个惩罚项。

2-4 乘子法(Method of Multipliers)

对应于的迭代公式为:

xk+1=argminxLρ(x,λk)        (2.7)
λk+1=λk+ρ(Axk+1b)        (2.8)

我们称之为乘子法(Method of Multipliers)。

将拉格朗日应用于对偶上升法可以极大地增加它的收敛属性,但是它要求一些代价。当 f 可以分解,而拉格朗日Lρ不能分解的,因此 (13) 式不能对每个xi并行最小化。这意味着乘子法不能被用来分解。于是我们引出ADMM (见 下节)。

参考或延伸材料:
[1]Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers
[2] 凸优化讲义
[3] A Note on the Alternating Direction Method of Multipliers

版权声明:本文为博主原创文章,欢迎转载,转载请注明出处。

凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法

[本文链接:http://www.cnblogs.com/breezedeus/p/3496819.html,转载请注明出处]最近开始对凸优化(convex optimization)开始感兴趣,接下...
  • shanglianlm
  • shanglianlm
  • 2015年05月22日 17:27
  • 15447

凸优化交替方向乘子法

原文在这里:http://blog.csdn.net/shanglianlm/article/details/46808793 最近开始对凸优化(convex optimization)中的ADM...
  • jzwong
  • jzwong
  • 2016年05月24日 15:51
  • 2658

凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法

[转自:http://blog.csdn.net/shanglianlm/article/details/45919679] 最近开始对凸优化(convex optimization)开始感兴趣...
  • hhsh49
  • hhsh49
  • 2016年11月28日 11:09
  • 535

Machine Learning in Python (Scikit-learn)-(转)

1. 闲话篇 机器学习(ML),自然语言处理(NLP),神马的,最近太火了。。。不知道再过几年,大家都玩儿ML,还会不会继续火下去。。。需要有人继续再添点柴火才行。本人仅仅是一个迷途小书童,知识...
  • u010922186
  • u010922186
  • 2014年11月17日 20:04
  • 785

凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之六: L1-Norm Problems

最近开始对凸优化(convex optimization)中的ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法开始感兴趣,接下来我会写...
  • shanglianlm
  • shanglianlm
  • 2015年07月08日 19:58
  • 3138

ADMM优化算法

从等式约束的最小化问题说起:                                                                                     ...
  • u013055552
  • u013055552
  • 2014年07月17日 11:57
  • 3211

凸优化交替方向乘子法

原文在这里:http://blog.csdn.net/shanglianlm/article/details/46808793 最近开始对凸优化(convex optimization)中的ADM...
  • jzwong
  • jzwong
  • 2016年05月24日 15:51
  • 2658

ADMM优化算法

ADMM优化算法原文链接: http://www.cnblogs.com/breezedeus/p/3496819.html从等式约束的最小化问题说起:minf(x)s.t.Ax=b  \min f(...
  • BingeCuiLab
  • BingeCuiLab
  • 2015年08月03日 18:42
  • 2125

关于ADMM的研究(一)

最近在研究正则化框架如何应用在大数据平台上。找到了《Distributed Optimization and Statistical Learning via the Alternating Di...
  • Angel_YJ
  • Angel_YJ
  • 2014年10月29日 15:56
  • 15491

ADMM算法理论与应用

交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)是一种解决可分解凸优化问题的简单方法,尤其在解决大规模问题上卓有成效,利用ADMM算法...
  • oBanTianYun
  • oBanTianYun
  • 2017年05月20日 23:11
  • 971
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之二:Precursors
举报原因:
原因补充:

(最多只允许输入30个字)