从放弃到再入门之拉格朗日对偶问题推导

原创 2018年04月17日 16:15:33

普通同学的解法

  1. 无约束条件:求导就可以了
  2. 等式约束:代入消元,再求导
  3. 不等式约束:分情况讨论(在边界上和不在边界上),分别对应1,2的情况
    然而发现,有些情况消元特别复杂,甚至不能求解

聪明同学的解法

这里写图片描述
发现:在最优点的情况下,约束曲面的法向量和目标函数的梯度反向必相同或相反
拉格朗日乘子法如何理解? (在2维里可以形象的解释为z=f(x,y)在约束条件g(x,y)=c中,极值为等高线f(x,y)=k与g(x,y)=c相切的时候)
于是就有了方程: ▽f(x*)+λ▽h(x*)=0
联合这个方程和h(x)=0,在某些情况比繁琐的消元好多了,至少能求解

天才同学的解法(拉格朗日乘子法)

天才可不仅仅停留在方程求解,发现了梯度之间的关系,就可以建立新的函数(拉格朗日函数):L(x,λ)=f(x)+λh(x),分别对这个函数求偏导,即还原了初始问题。

同理,对于不等式约束问题,分情况讨论,可以建立带KKT条件的拉格朗日函数:

这里写图片描述
这里写图片描述
KKT条件:
这里写图片描述
其实KKT条件就是为了和原优化问题等价而附带的一些等式和不等式

说了这么多,是不是发现并没有什么卵用,对应求导得出的还是和聪明同学的解法一样,求导解方程求解。

接下来才是关键,
这里写图片描述
这里写图片描述
此问题称为原问题,你会很奇妙的发现:
这里写图片描述
原问题只有在满足约束条件下才有极小值,等价于满足约束条件的f(x)的极小值,于是问题转化为拉格朗日极小极大问题:
这里写图片描述
不妨设解为p*。

现在我们来直接下手求解原问题,先极大,对α,β求导,得出c(x)=0,h(x)=0,即原不等式和等式,再代入f(x),求极小,对x求导…..等等,好眼熟?不又回到了原点吗?

好在有对偶问题可以再等价= =:

对偶问题

交换极大极小的顺序(其实就是交换代入求导的顺序),转化为拉格朗日极大极小问题:
这里写图片描述
不妨设对偶问题解为d*。
这里写图片描述

现在我们来下手求解对偶问题,先极小,对x求导,得出x关于α,β的表达式,再代入f(x),再求极大,对α,β求导。

值得庆幸的是,数学家们已经证明,当f(x)和c(x)为凸函数,h(x)为仿射函数时,p*= d*。

总结

遇到等式和不等式约束优化问题怎么办:
1.引入拉格朗日函数和KKT条件,转为无约束优化问题
求导不好解怎么办:
2.转为求对偶问题,更换求导代入再求导的顺序(即先极小再极大)
注意:求解时需要满足KKT条件

普通同学的解法:消元求导
聪明同学的解法:建立梯度关系,求导,解多元方程
天才同学的解法:转为对偶问题,消元求导

在SVM的应用

SVM不就是在一大堆不等式的约束的最优化问题吗,所以当然用天才同学的解法,转为对偶问题,消元求导,可以带来以下好处:

1.方便求解
2.自然的引入核函数

SVM之拉格朗日乘子法对偶的推导

  • 2017年11月14日 23:30
  • 868KB
  • 下载

SVM支持向量机-拉格朗日,对偶算法的初解

许多地方得SVM讲得都很晦涩,不容易理解,最近看到一篇不错的博文写得很好,同时加上自己的理解,重新梳理一下知识要点 http://blog.csdn.net/zouxy09/article/deta...
  • xietingcandice
  • xietingcandice
  • 2015-03-09 18:32:44
  • 5718

SVM笔记(二) 拉格朗日对偶性

用途对于约束最优化问题,有时原始问题的最优解不好求解,可以借助拉格朗日对偶性将原始问题转化为对偶问题,通过求解对偶问题的解来获得原始问题的最优解。在最大熵模型和支持向量机中用到了该类方法。描述原始问题...
  • xmdxcsj
  • xmdxcsj
  • 2016-05-26 22:43:26
  • 1697

关于拉格朗日对偶问题中对偶性的理解

Markdown编辑的版本 首先说明本文讨论用的符号,拉格朗日函数: L(x,λ,ν)=f0(x)+∑λifi(x)+∑νihi(x) 对偶问题的对偶性体现 这个理解来自于斯坦福的课程——凸优化...
  • donger_soft
  • donger_soft
  • 2014-09-27 10:40:30
  • 31519

拉格朗日对偶问题详解

  • 2014年11月18日 23:30
  • 102KB
  • 下载

拉格朗日对偶问题中对偶性的理解

摘自: http://blog.csdn.net/donger_soft/article/details/39556435 首先说明本文讨论用的符号,拉格朗日函数:  L(...
  • l494926429
  • l494926429
  • 2016-09-21 21:08:34
  • 645

拉格朗日对偶性问题-《统计学习方法》学习笔记

0. 内容介绍         在约束最优化问题中, 常常利用拉个朗日对偶性将原始问题转化为对偶问题,通过解对偶问题而得到原始问题的解,该方法应用在很多的统计学习方法中。例如在上一篇文章中(http...
  • robin_Xu_shuai
  • robin_Xu_shuai
  • 2016-10-13 09:15:55
  • 2724

SVM(二)拉格朗日对偶问题

2 拉格朗日对偶(Lagrange duality)      先抛开上面的二次规划问题,先来看看存在等式约束的极值问题求法,比如下面的最优化问题:              目标函...
  • witnessai1
  • witnessai1
  • 2015-12-06 23:20:12
  • 1117

拉格朗日对偶问题(Lagrange duality)

介绍拉格朗日对偶中的原始问题、对偶问题以及原始问题与对偶问题的关系
  • blackyuanc
  • blackyuanc
  • 2017-03-28 21:48:07
  • 1015

ML—拉格朗日对偶和KKT条件

Andrew Zhang Tianjin Key Laboratory of Cognitive Computing and Application Tianjin University Oct...
  • zhangzhengyi03539
  • zhangzhengyi03539
  • 2015-10-23 21:20:48
  • 2002
收藏助手
不良信息举报
您举报文章:从放弃到再入门之拉格朗日对偶问题推导
举报原因:
原因补充:

(最多只允许输入30个字)