机器学习笔记_ 数值最优化_3:KKT条件

原创 2015年11月24日 03:03:42

KKT条件(几何的解释)

对于凸优化,KKT条件的点就是其极值点(可行下降方向)。

  • x是非线性规划的局部最小点,目标函数f(x)x可微,约束方程(g(x))在x处可微,连续;则X*点不存在可行下降方向(因为已经是局部最小点了)

  • 若极小值点在内部,则无约束问题,直接拉格朗日乘子法

  • 若极小值在边界上,(gi(x)=0)
  • 互补松弛条件
    f(x)γ1g1(x)γ2g2(x)=0
    γi0γigi(x)=0
    满足其他约束

  • 一阶得到是局部极值点 ,还需要通过二阶判断是否是鞍点


强对偶条件( 鞍点解释)->对偶函数取下确界,则对偶函数一定是凹函数

  • 原函数不好求,转换为求解对偶函数,则对偶函数下确界求得,则比为凹函数(负号为凸函数)
  • 上确界求得,比为凸函数
  • 满足KKT条件后,对偶函数和原函数最优值相等
  • 求解对偶函数,及求解凸函数
  • 对偶和原函数相等(对偶间隔=0)需要满足的式子也是KKT,同时最优点是鞍点,也就是KKT方程的解

这里写图片描述

这里写图片描述


对偶问题:若要对偶函数的最大值即为原问题的最小值问题(对偶间隙是0),解凸优化问题等价于解KKT方程;

  • f0(x)=g(λ,ν)>
    =infx(f0(x)+i=1mλifi(x)+i=1pvihi(x)
    infx(f0(x)+i=1mλifi(x)+i=1pvihi(x)
    f0(x)

上式等号成立需要:

fi(x)0,i=1,...,m
hi(x)=0,i=1,...,m
λi0,i=1,...,m
λifi(x)=0,i=1,...,m
f0(x)+i=1mλifi(x)+i=1pvihi(x)=0

版权声明:本文为博主原创文章,未经博主允许不得转载。

机器学习之SVM算法(一)KKT条件

前言 本文旨在详细介绍KKT条件的推导和计算方法。 拉格朗日算子常用语等式约束最优化的求解中,是KKT条件的特殊形式。KKT条件用于含有不等式约束的条件下的优化问题,例如SVM算...
  • zhb_bupt
  • zhb_bupt
  • 2016年04月08日 23:01
  • 2100

凸优化 - 4 - 凸优化、Lagrange乘子法、KKT条件

前提说明:为了方便查阅,我将整个凸优化的内容分成了很多部分,因为后面的部分用到了前面的知识,所以,如果你的目的是查看后面的内容但对前面的某个知识点不甚了解的话可以根据标题查看前面的部分。 凸优化   ...
  • xueyingxue001
  • xueyingxue001
  • 2016年07月08日 09:13
  • 2797

KKT条件--约束问题最优化方法

KKT条件在约束条件下求解非线性规划问题很有用,是确定某点为最优点的一阶必要条件。而对于凸规划问题而言,KKT条件是局部极小点的一阶必要条件,同时也是充分条件,而且局部极小点就是全局极小点。...
  • zjsmdchen
  • zjsmdchen
  • 2016年04月06日 23:33
  • 4588

数值优化(Numerical Optimization)学习系列-二次规划(Quadratic Programming)

概述 二次规划问题是目标函数是二次的,并且约束是线性的问题。在非线性约束最优化问题中非常重要,通常作为其他问题的子步骤存在。 1.二次规划问题 2.二次规划求解算法 3. 总...
  • fangqingan_java
  • fangqingan_java
  • 2015年12月27日 18:56
  • 4564

凸优化 - 4 - 凸优化、Lagrange乘子法、KKT条件

前提说明:为了方便查阅,我将整个凸优化的内容分成了很多部分,因为后面的部分用到了前面的知识,所以,如果你的目的是查看后面的内容但对前面的某个知识点不甚了解的话可以根据标题查看前面的部分。 凸优化   ...
  • xueyingxue001
  • xueyingxue001
  • 2016年07月08日 09:13
  • 2797

『 机器学习笔记』最优化方法

最优化方法是研究在给定约束之下如何寻求某些因素(的量),以使某一(或某些)指标达到最优的一些学科的总称。 机器学习的问题大多可以建模成一种最优化模型求解,常见最优化方法有梯度下降法,牛顿法和拟牛顿法...
  • shine19930820
  • shine19930820
  • 2017年03月31日 11:32
  • 363

机器学习 必备数学知识 总结(包括:线性代数、概率论、数值计算、最优化)135页

  • 2017年12月13日 10:35
  • 6.76MB
  • 下载

机器学习实战学习笔记(七)预测数值型数据—回归(python3实现)

1.用线性回归找到最佳拟合直线 线性回归的推导式日后再学习,先看一波Python3代码: """ 标准回归函数和数据导入函数 """ def loadDataSet(fileName): #...
  • kevin_zhao_zl
  • kevin_zhao_zl
  • 2017年10月31日 15:31
  • 72

机器学习之&&Dual(带约束条件的最优化问题)

关于dual的相关知识,这套理论不仅适用于SVM的优化问题,而是对于所有带约束的优化问题都适用,是优化理论中的一个重要部分。(也许你觉得一个IT人优化问题不重要,其实你仔细想想,现实中的很多问题,都是...
  • sp_programmer
  • sp_programmer
  • 2014年12月12日 17:39
  • 7115

最优化 kkt条件

  • 2012年07月02日 23:22
  • 324KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:机器学习笔记_ 数值最优化_3:KKT条件
举报原因:
原因补充:

(最多只允许输入30个字)