拉格朗日乘子法与KKT条件解决优化问题

SVM支持向量机是目前非常好用的一种分类算法,但是其中的原理推导涉及了一些数学知识:例如其中在处理我们构建得到的数学模型时,最优化问题中就使用到了拉格朗日乘子法与KKT条件。

通常需要解决的优化问题有三类:

1.无约束的优化问题

   min f(x)                         

求取f(x)的导数使其为零,求解出候选值,在其中验证选择出最优值,就是高中常用的方法。

2.有等式约束的优化问题

   min f(x)

   s.t. h_i(x)=0                 

使用拉格朗日乘子法,构建函数L(a,x)=f(x)-a*h_i(x),a是>=0的拉格朗日乘子,令L(a,x)对各变量求导使其为零,获得候选值的集合,这个方法在高数中也曾用过。

3.有不等式约束的优化问题

   min f(x)                        

   s.t. g_i(x)>=0               

         h_i(x)=0                   

对此同样把目标函数、等式不等式约束写为一个式子:L(a,b,x)=f(x)-a*g_i(x)-b*h_i(x),KKT条件就是说找到最优值一定满足这三个条件:①L(a,b,x)对x求导为零 ②h(x)=0 ③a*g(x)=0&#

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值