凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之五: Constrained Convex Optimization

原创 2015年07月08日 20:04:05

最近开始对凸优化(convex optimization)中的ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法开始感兴趣,接下来我会写一系列关于ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法的内容。

凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之五: Constrained Convex Optimization

本文地址:http://blog.csdn.net/shanglianlm/article/details/46807865

5- 约束凸优化(Constrained Convex Optimization)

通用的约束凸优化问题为
这里写图片描述
其中 xRn, f 和 C 是凸的。改写成 ADMM 形式
这里写图片描述
其中 g 是 C 的指示函数。增广 Lagrangian 为
这里写图片描述
因此有
这里写图片描述
x-update 涉及最小化 f 加 一个凸二次函数;z-update 是一个 C 上的 Euclidean 映射。这里目标函数 f 不要求光滑。

As with all problems where the constraint is x − z = 0, the primal and dual residuals take the simple form
这里写图片描述

5-1 凸可行性(Convex Feasibility)

5-1-1 交替投影法(Alternating Projections)

找到两个闭合非空凸集的交集中的一个点的常用方法是 alternating projections 算法
这里写图片描述
其中 ΠCΠD 分别是 集合 C 和 D 上的 Euclidean 映射。
原问题写成 ADMM 形式,
这里写图片描述
其中 f 和 g 分别是 C 和 D 的指示函数(indicator function)。
ADMM 的缩放形式(scaled form)
这里写图片描述
x- 和 z- 步都涉及在一个凸集上的映射。
这里写图片描述

5-1-2 平行投影法(Parallel Projections)

扩展到找到 N 个闭合凸集 A1,...,AN 交错集上的点,
这里写图片描述
接着有
这里写图片描述
第一和三步可以并行。

5-2 线性和二次规划(Linear and Quadratic Programming)

标准的二次规划 quadratic program (QP) 形式为
这里写图片描述
表示成 ADMM 形式
这里写图片描述
其中
这里写图片描述
g 是非负象限 Rn+ 的指示函数。
ADMM 的缩放形式(scaled form)
这里写图片描述
x-update 是一个有优化条件的等式约束最小二次问题(an equality-constrained least squares problem with optimality conditions)。
这里写图片描述

参考或延伸材料:
[1]Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers
[2] 凸优化讲义
[3] A Note on the Alternating Direction Method of Multipliers

版权声明:本文为博主原创文章,欢迎转载,转载请注明出处。 https://blog.csdn.net/shanglianlm/article/details/46807865

凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法

[转自:http://blog.csdn.net/shanglianlm/article/details/45919679] 最近开始对凸优化(convex optimization)开始感兴趣...
  • hhsh49
  • hhsh49
  • 2016-11-28 11:09:11
  • 711

凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之六: L1-Norm Problems

最近开始对凸优化(convex optimization)中的ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法开始感兴趣,接下来我会写...
  • shanglianlm
  • shanglianlm
  • 2015-07-08 19:58:51
  • 3990

ADMM求解各种优化函数及Matalb例子

 MATLAB scripts for alternating direction method of multipliers S. Boyd, N. Parikh, E. Chu, B. P...
  • sjtu_012
  • sjtu_012
  • 2014-11-04 14:06:33
  • 3150

MATLAB scripts for ADMM

MATLAB scripts for alternating direction method of multipliers S. Boyd, N. Parikh, E. Chu, B. Pel...
  • u013055552
  • u013055552
  • 2014-07-17 16:40:11
  • 5650

关于ADMM的研究(一)

最近在研究正则化框架如何应用在大数据平台上。找到了《Distributed Optimization and Statistical Learning via the Alternating Di...
  • Angel_YJ
  • Angel_YJ
  • 2014-10-29 15:56:45
  • 18396

凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之五: Constrained Convex Optimization

凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之五: Constrained Convex Optimization ...
  • shanglianlm
  • shanglianlm
  • 2015-07-08 20:04:05
  • 2932

模极大值重构信号<em>算法</em>的matlab程序

关于信号的模极大值重构,采用了mallat的<em>交替投影算法</em>。... 关于信号的模极大值重构,采用了mallat的<em>交替投影算法</em>。综合评分:5 收藏评论(6)举报 所需: 3积分/C币 ...
  • 2018年04月08日 00:00

凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之七: Consensus and Sharing

凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之七: Consensus and Sharing本文地址:7 Cons...
  • shanglianlm
  • shanglianlm
  • 2015-07-08 20:05:57
  • 1564

新颖训练方法——用迭代投影算法训练神经网络

作者介绍:Jesse Clark 研究相位恢复的物理学家、数据科学家,有着丰富的建设网站与设计手机应用的经验,在创业公司有着丰富的经验,对创业有着极大的热情。  Github: htt...
  • qq_36510261
  • qq_36510261
  • 2017-03-28 21:06:49
  • 508

天线综合法--前苏联写的经典天线综合书

阵列天线方向图的<em>交替投影</em>综合法.pdf 立即下载 上传者: qing188 时间: 2010-04-03 综合评分: 0 积分/C币:3 阵列天线分析与综合-王建 立即下载 上传者:...
  • 2018年04月08日 00:00
收藏助手
不良信息举报
您举报文章:凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之五: Constrained Convex Optimization
举报原因:
原因补充:

(最多只允许输入30个字)