凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之五: Constrained Convex Optimization

原创 2015年07月08日 20:04:05

最近开始对凸优化(convex optimization)中的ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法开始感兴趣,接下来我会写一系列关于ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法的内容。

凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之五: Constrained Convex Optimization

本文地址:http://blog.csdn.net/shanglianlm/article/details/46807865

5- 约束凸优化(Constrained Convex Optimization)

通用的约束凸优化问题为
这里写图片描述
其中 xRn, f 和 C 是凸的。改写成 ADMM 形式
这里写图片描述
其中 g 是 C 的指示函数。增广 Lagrangian 为
这里写图片描述
因此有
这里写图片描述
x-update 涉及最小化 f 加 一个凸二次函数;z-update 是一个 C 上的 Euclidean 映射。这里目标函数 f 不要求光滑。

As with all problems where the constraint is x − z = 0, the primal and dual residuals take the simple form
这里写图片描述

5-1 凸可行性(Convex Feasibility)

5-1-1 交替投影法(Alternating Projections)

找到两个闭合非空凸集的交集中的一个点的常用方法是 alternating projections 算法
这里写图片描述
其中 ΠCΠD 分别是 集合 C 和 D 上的 Euclidean 映射。
原问题写成 ADMM 形式,
这里写图片描述
其中 f 和 g 分别是 C 和 D 的指示函数(indicator function)。
ADMM 的缩放形式(scaled form)
这里写图片描述
x- 和 z- 步都涉及在一个凸集上的映射。
这里写图片描述

5-1-2 平行投影法(Parallel Projections)

扩展到找到 N 个闭合凸集 A1,...,AN 交错集上的点,
这里写图片描述
接着有
这里写图片描述
第一和三步可以并行。

5-2 线性和二次规划(Linear and Quadratic Programming)

标准的二次规划 quadratic program (QP) 形式为
这里写图片描述
表示成 ADMM 形式
这里写图片描述
其中
这里写图片描述
g 是非负象限 Rn+ 的指示函数。
ADMM 的缩放形式(scaled form)
这里写图片描述
x-update 是一个有优化条件的等式约束最小二次问题(an equality-constrained least squares problem with optimality conditions)。
这里写图片描述

参考或延伸材料:
[1]Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers
[2] 凸优化讲义
[3] A Note on the Alternating Direction Method of Multipliers

版权声明:本文为博主原创文章,欢迎转载,转载请注明出处。

相关文章推荐

凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之六: L1-Norm Problems

最近开始对凸优化(convex optimization)中的ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法开始感兴趣,接下来我会写...

ADMM求解各种优化函数及Matalb例子

 MATLAB scripts for alternating direction method of multipliers S. Boyd, N. Parikh, E. Chu, B. P...

ADMM算法

ADMM算法是机器学习中比较广泛使用的约束问题最优化方法,它是ALM算法的一种延伸,只不过将无约束优化的部分用块坐标下降法(block coordinate descent,或叫做 alternati...

稀疏模型与结构性稀疏模型 及ADMM求解

介绍了稀疏结构模型来自  http://blog.csdn.net/jwh_bupt/article/details/12070273 稀疏编码系列: (一)----Spatial P...

ADMM优化算法

从等式约束的最小化问题说起:                      ...

MATLAB scripts for ADMM

MATLAB scripts for alternating direction method of multipliers S. Boyd, N. Parikh, E. Chu, B. Pel...

关于ADMM的研究(一)

最近在研究正则化框架如何应用在大数据平台上。找到了《Distributed Optimization and Statistical Learning via the Alternating Di...

BP神经网络算法之matlab具体实现

之前的几篇博客的一个共同点就是梯度下降法,梯度下降法是用来求解无约束最优化问题的一个数值方法,简单实用,几乎是大部分算法的基础,下面来利用梯度下降法优化BP神经网络。 已经有证明过,三层BP神经网络...

深入理解拉格朗日乘子法(Lagrange Multiplier) 和KKT条件

在求取有约束条件的优化问题时,拉格朗日乘子法(Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法,对于等式约束的优化问题,可以应用拉格朗日乘子法去求取最优值;如果含有不等式...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)