凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之二:Precursors

原创 2015年07月08日 21:18:22

最近开始对凸优化(convex optimization)中的ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法开始感兴趣,接下来我会写一系列关于ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法的内容。

凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之二:Precursors

[本文地址:http://blog.csdn.net/shanglianlm/article/details/46808763]

2- 先导(Precursors)

2-1 对偶上升法(Dual Ascent)

设有如下优化问题:

minf(x)   s.t.    Ax=b         (2.1)

它的拉格朗日形式为:
L(x,λ)=f(x)+λT(Axb)

对偶形式为:
g(λ)=infxL(x,λ)=f(ATλ)bTλ

其中 f^* 是 f 的共轭函数。

The conjugate function
这里写图片描述
这里写图片描述

对偶问题为:

max g(λ)

假设强对偶成立,原问题和对偶问题的最优值一样(Assuming that strong duality holds, the optimal values of the primal and dual problems are the same)。
这里写图片描述

对偶上升法的迭代更新为:

xk+1=argminxL(x,λk)             (2.2)    x-
λk+1=λk+αk(Axk+1b)                (2.3)     

其中αk>0是步长。

2-2 对偶分解法(Dual Decomposition)

假设目标函数是可以分解的,即

f(x)=i=1Nfi(xi)

因此,拉格朗日函数可以改写为:
L(x,λ)=i=1NLi(xi,λ)=i=1N(fi(xi)+λTAixi(1/N)λTb)

所以它的迭代更新为:
xk+1i=argminxiLi(xi,λk)        (2.4)
λk+1=λk+αk(Axk+1b)        (2.5)

2-3 增广拉格朗日(Augmented Lagrangians)

为了增加对偶上升法的鲁棒性和放松函数 f 的强凸约束,我们引入增广拉格朗日(Augmented Lagrangians)形式:

Lρ(x,λ)=f(x)+λT(Axb)+(ρ/2)||Axb||22        (2.6)

其中惩罚因子ρ>0
与 (2.1) 式相比,(2.6) 式只是增加了一个惩罚项。

2-4 乘子法(Method of Multipliers)

对应于的迭代公式为:

xk+1=argminxLρ(x,λk)        (2.7)
λk+1=λk+ρ(Axk+1b)        (2.8)

我们称之为乘子法(Method of Multipliers)。

将拉格朗日应用于对偶上升法可以极大地增加它的收敛属性,但是它要求一些代价。当 f 可以分解,而拉格朗日Lρ不能分解的,因此 (13) 式不能对每个xi并行最小化。这意味着乘子法不能被用来分解。于是我们引出ADMM (见 下节)。

参考或延伸材料:
[1]Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers
[2] 凸优化讲义
[3] A Note on the Alternating Direction Method of Multipliers

版权声明:本文为博主原创文章,欢迎转载,转载请注明出处。

相关文章推荐

C#FTP操作完整类

<!-- alimama_pid="mm_10249644_1605763_4929893"; alimama_titlecolor="707070"; alimama_descolor ="CCCC...

数值优化(Numerical Optimization)学习系列-惩罚和增广拉格朗日方法(Augmented Lagrangian Methods)

概述 求解带约束的最优化问题,一类很重要的方法就是将约束添加到目标函数中,从而转换为一系列子问题进行求解,最终逼近最优解。关键问题是如何将约束进行转换。本节主要介绍 1. 二次惩罚方法 ...

soft thresholding 软阈值算法

软阈值算法解决的是如下优化模型:min1/2||X−b||22+λ||X||1min 1/2||X-b||_{2}^2+\lambda||X||_{1} 首先给出软阈值作用的图像: 其中左边的...

ADMM算法

ADMM算法是机器学习中比较广泛使用的约束问题最优化方法,它是ALM算法的一种延伸,只不过将无约束优化的部分用块坐标下降法(block coordinate descent,或叫做 alternati...

ADMM优化算法

从等式约束的最小化问题说起:                      ...

ADMM优化算法

ADMM优化算法原文链接: http://www.cnblogs.com/breezedeus/p/3496819.html从等式约束的最小化问题说起:minf(x)s.t.Ax=b  \min f(...

关于ADMM的研究(二)

4. Consensus and Sharing 本节讲述的两个优化问题,是非常常见的优化问题,也非常重要,我认为是ADMM算法通往并行和分布式计算的一个途径:consensus和sharing...

凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之六: L1-Norm Problems

最近开始对凸优化(convex optimization)中的ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法开始感兴趣,接下来我会写...

凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之十: Implementation

凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之十: Implementation本文地址:10 Implementa...

ADMM优化算法

从等式约束的最小化问题说起:                      ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)