凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之六: L1-Norm Problems

原创 2015年07月08日 19:58:51

最近开始对凸优化(convex optimization)中的ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法开始感兴趣,接下来我会写一系列关于ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法的内容。

凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之六: L1-Norm Problems

本文地址:http://blog.csdn.net/shanglianlm/article/details/46805675

6-  L1范式问题(L1-Norm Problems)

ADMM 自然地将飞光滑的 L1 项 与光滑的损失项分离开来,使得计算更有效。这一部分我们主要考虑非并行的 L1-Norm 问题。关于最近的 L1 算法的综述可以参考 [173]

[173] A. Y. Yang, A. Ganesh, Z. Zhou, S. S. Sastry, and Y. Ma, “A Review of Fast l1-Minimization Algorithms for Robust Face Recognition,” arXiv:1007.3753, 2010.

6-1 最小绝对偏差(Least Absolute Deviations )

最小化  ||Axb||1 替代 ||Axb||22

当数据包含较大的离群点时,Least Absolute Deviations(LAD) 通常比 least squares fitting(LSF) 提供一个更鲁棒的拟合 (Least absolute deviations provides a more robust fit than least squares when the data contains large outliers)。

写成 ADMM 形式,
这里写图片描述
其中 f=0g=||||1, 假设 ATA 可逆, 有
这里写图片描述

6-1-1 Huber 拟合(Huber Fitting)

Huber Fitting 位于 least squares 和 least absolute deviations 之间,
这里写图片描述
其中 Huber penalty function ghub
这里写图片描述
因此有,
这里写图片描述
x-update 和 u-update 和 Least absolute deviations 的一样。

6-2 基追踪(Basis Pursuit)

Basis Pursuit 是一个 等式约束的 L1 最小化问题
这里写图片描述
[24] 是关于 Basis Pursuit 的一个综述。
写成 ADMM 形式
这里写图片描述
其中 f 是这里写图片描述 的指示函数。
因此有
这里写图片描述
其中 Π 是这里写图片描述上的映射。
x-update 展开为
这里写图片描述

最近提出的 Bregman iterative methods 解决类似 Basis Pursuit 的问题很有效。

For basis pursuit and related problems, Bregman iterative regularization [176] is equivalent to the method of multipliers, and the split Bregman method [88] is equivalent to ADMM [68].

[24] A. M. Bruckstein, D. L. Donoho, and M. Elad, “From sparse solutions of systems of equations to sparse modeling of signals and images,” SIAM Review, vol. 51, no. 1, pp. 34–81, 2009.
[176] W. Yin, S. Osher, D. Goldfarb, and J. Darbon, “Bregman iterative algorithms for  l1-minimization with applications to compressed sensing,” SIAM Journal on Imaging Sciences, vol. 1, no. 1, pp. 143–168, 2008.
[88] T. Goldstein and S. Osher, “The split Bregman method for  l1 regularized problems,” SIAM Journal on Imaging Sciences, vol. 2, no. 2, pp. 323–343, 2009.
[68] E. Esser, “Applications of Lagrangian-based alternating direction methods and connections to split Bregman,” CAM report, vol. 9, p. 31, 2009.

6-3 广义 L1正则化损失最小化(General  L1 Regularized Loss Minimization)

考虑广义的问题
这里写图片描述
其中 l 是任意的凸代价函数。
写成 ADMM 形式
这里写图片描述
其中这里写图片描述

这里写图片描述

In general, we can interpret ADMM for L1 regularized loss minimization as reducing it to solving a sequence of L2 (squared) regularized loss minimization problems.

6-4 Lasso(Lasso)

lasso [156] 是 (6.1)的一个特例,也叫  L1 regularized linear regression。
这里写图片描述
写成 ADMM 形式
这里写图片描述
其中这里写图片描述

这里写图片描述

The x-update is essentially a ridge regression (i.e., quadratically regularized least squares) computation, so ADMM can be interpreted as a method for solving the lasso problem by iteratively carrying out ridge regression.

6-4-1 广义Lasso(Generalized Lasso)
进一步一般化
这里写图片描述
其中 F 是一个任意的线性变换。
一个特殊的例子是当 FR(n1)×n 是差异矩阵
这里写图片描述
和 A =I 时,
这里写图片描述
写成 ADMM 形式
这里写图片描述

这里写图片描述

6-4-2 组 Lasso(Group Lasso)

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

6-5 稀疏逆协方差选择(Sparse Inverse Covariance Selection)

参考或延伸材料:
[1] Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers
[2] 凸优化讲义
[3] A Note on the Alternating Direction Method of Multipliers

版权声明:本文为博主原创文章,欢迎转载,转载请注明出处。

关于ADMM的研究(一)

最近在研究正则化框架如何应用在大数据平台上。找到了《Distributed Optimization and Statistical Learning via the Alternating Di...
  • Angel_YJ
  • Angel_YJ
  • 2014年10月29日 15:56
  • 16034

ADMM优化算法

ADMM优化算法原文链接: http://www.cnblogs.com/breezedeus/p/3496819.html从等式约束的最小化问题说起:minf(x)s.t.Ax=b  \min f(...
  • BingeCuiLab
  • BingeCuiLab
  • 2015年08月03日 18:42
  • 2260

ADMM在什么情况下使用,如何使用

原文链接:https://user.qzone.qq.com/553702786/blog/1500126869   写了大量基于ADMM的代码,总结一下ADMM的一般使用前提:AD...
  • u011650143
  • u011650143
  • 2017年07月18日 09:58
  • 828

ADMM优化算法

从等式约束的最小化问题说起:                                                                                     ...
  • pizibing880909
  • pizibing880909
  • 2014年03月13日 22:00
  • 6339

ADMM算法

ADMM算法是机器学习中比较广泛使用的约束问题最优化方法,它是ALM算法的一种延伸,只不过将无约束优化的部分用块坐标下降法(block coordinate descent,或叫做 alternati...
  • WASEFADG
  • WASEFADG
  • 2016年11月01日 10:51
  • 1710

用ADMM求解大型机器学习问题

从等式约束的最小化问题说起:                                                                                     ...
  • WASEFADG
  • WASEFADG
  • 2016年11月01日 14:39
  • 433

凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之四: General Patterns

凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之四: General Patterns 本文地址:http://bl...
  • shanglianlm
  • shanglianlm
  • 2015年07月09日 15:31
  • 3012

ADMM算法理论与应用

交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)是一种解决可分解凸优化问题的简单方法,尤其在解决大规模问题上卓有成效,利用ADMM算法...
  • oBanTianYun
  • oBanTianYun
  • 2017年05月20日 23:11
  • 1072

凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之三:ADMM

凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之三:ADMM 本文地址:http://blog.csdn.net/sh...
  • shanglianlm
  • shanglianlm
  • 2015年07月08日 21:20
  • 4530

凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法

[本文链接:http://www.cnblogs.com/breezedeus/p/3496819.html,转载请注明出处]最近开始对凸优化(convex optimization)开始感兴趣,接下...
  • shanglianlm
  • shanglianlm
  • 2015年05月22日 17:27
  • 16103
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:凸优化:ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法系列之六: L1-Norm Problems
举报原因:
原因补充:

(最多只允许输入30个字)