机器学习笔记_ 数值最优化_3:KKT条件

原创 2015年11月24日 03:03:42

KKT条件(几何的解释)

对于凸优化,KKT条件的点就是其极值点(可行下降方向)。

  • x是非线性规划的局部最小点,目标函数f(x)x可微,约束方程(g(x))在x处可微,连续;则X*点不存在可行下降方向(因为已经是局部最小点了)

  • 若极小值点在内部,则无约束问题,直接拉格朗日乘子法

  • 若极小值在边界上,(gi(x)=0)
  • 互补松弛条件
    f(x)γ1g1(x)γ2g2(x)=0
    γi0γigi(x)=0
    满足其他约束

  • 一阶得到是局部极值点 ,还需要通过二阶判断是否是鞍点


强对偶条件( 鞍点解释)->对偶函数取下确界,则对偶函数一定是凹函数

  • 原函数不好求,转换为求解对偶函数,则对偶函数下确界求得,则比为凹函数(负号为凸函数)
  • 上确界求得,比为凸函数
  • 满足KKT条件后,对偶函数和原函数最优值相等
  • 求解对偶函数,及求解凸函数
  • 对偶和原函数相等(对偶间隔=0)需要满足的式子也是KKT,同时最优点是鞍点,也就是KKT方程的解

这里写图片描述

这里写图片描述


对偶问题:若要对偶函数的最大值即为原问题的最小值问题(对偶间隙是0),解凸优化问题等价于解KKT方程;

  • f0(x)=g(λ,ν)>
    =infx(f0(x)+i=1mλifi(x)+i=1pvihi(x)
    infx(f0(x)+i=1mλifi(x)+i=1pvihi(x)
    f0(x)

上式等号成立需要:

fi(x)0,i=1,...,m
hi(x)=0,i=1,...,m
λi0,i=1,...,m
λifi(x)=0,i=1,...,m
f0(x)+i=1mλifi(x)+i=1pvihi(x)=0

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/mijian1207mijian/article/details/50006885

深入理解拉格朗日乘子法(Lagrange Multiplier) 和KKT条件

在求取有约束条件的优化问题时,拉格朗日乘子法(Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法,对于等式约束的优化问题,可以应用拉格朗日乘子法去求取最优值;如果含有不等式...
  • xianlingmao
  • xianlingmao
  • 2012-09-22 17:05:52
  • 307010

《SVM笔记系列之三》拉格朗日乘数法和KKT条件的直观解释

《SVM笔记系列之三》拉格朗日乘数法和KKT条件的直观解释 前言在SVM的推导中,出现了核心的一个最优化问题,这里我们简单介绍下最优化问题,特别是带有约束的最优化问题,并且引入拉格朗日乘数法和广义拉...
  • LoseInVain
  • LoseInVain
  • 2017-11-24 15:08:13
  • 942

KKT条件介绍

KKT条件入门介绍 最近学习的时候用到了最优化理论,但是作为学渣的我是没有多少这方面的理论基础。于是翻了很多大神的博客把容易理解的内容记载到这篇博客中。因此这是篇汇总博客,不算是全部原创,但是基础理论...
  • johnnyconstantine
  • johnnyconstantine
  • 2015-06-02 21:49:11
  • 58998

支持向量机(SVM)必备知识(KKT、slater、对偶)

SVM目前被认为是最好的现成的分类器,SVM整个原理的推导过程也很是复杂啊,其中涉及到很多概念,如:凸优化问题、拉格朗日乘子法、对偶问题,slater条件、KKT条件还有复杂的SMO算法!相信有很多研...
  • feilong_csdn
  • feilong_csdn
  • 2017-03-16 16:50:00
  • 3169

KKT条件

阅读KKT条件之前的准备工作 1、最优化问题   数学规划问题,或着说最优化问题,一般可写成下面的形式: maxs.t.f(x)g(x)=c(1) 2、先看看二维的问题   为了简...
  • ecnu18918079120
  • ecnu18918079120
  • 2017-04-10 17:57:02
  • 2921

Karush-Kuhn-Tucker 最优化条件 (KKT 条件)

一般地,一个最优化数学模型能够表示成下列标准形式:所谓 Karush-Kuhn-Tucker 最优化条件,就是指上式的最小点 x* 必须满足下面的条件:KKT最优化条件是Karush[1939]以及K...
  • huzhyi21
  • huzhyi21
  • 2009-09-20 22:32:00
  • 2480

KKT条件--约束问题最优化方法

KKT条件在约束条件下求解非线性规划问题很有用,是确定某点为最优点的一阶必要条件。而对于凸规划问题而言,KKT条件是局部极小点的一阶必要条件,同时也是充分条件,而且局部极小点就是全局极小点。...
  • zjsmdchen
  • zjsmdchen
  • 2016-04-06 23:33:36
  • 5648

最优化理论与KKT条件

看着内容挺好的,转载一下 1. 最优化理论(Optimization Theory) 最优化理论是研究函数在给定一组约束条件下的最小值(或者最大值)的数学问题. 一般而言, 一个最...
  • loadstar_kun
  • loadstar_kun
  • 2014-05-09 09:59:50
  • 35669

SVM中KKT条件介绍

KKT条件介绍        最近学习的时候用到了最优化理论,但是我没有多少这方面的理论基础。于是翻了很多大神的博客把容易理解的内容记载到这篇博客中。因此这是篇汇总博客,不算是全部原创,但是基础...
  • TaoTaoFu
  • TaoTaoFu
  • 2017-02-24 15:59:30
  • 1803

关于拉格朗日乘子法与KKT条件的相关数学概念

关于拉格朗日乘子法与KKT条件的相关数学概念 作者:@wzyer 原文出处:http://www.moozhi.com/topic/show/54a8a261c555c08b3d59d99...
  • huang1024rui
  • huang1024rui
  • 2015-09-06 20:11:17
  • 726
收藏助手
不良信息举报
您举报文章:机器学习笔记_ 数值最优化_3:KKT条件
举报原因:
原因补充:

(最多只允许输入30个字)