SVM中拉格朗日乘子法、KKT条件、对偶问题详解

这篇博客是作者学习SVM的心得,详细介绍了拉格朗日乘子法、KKT条件以及对偶问题在SVM中的应用。通过对SVM基本型的回顾,阐述了如何利用拉格朗日乘子法解决等式和不等式约束优化问题,并解释了KKT条件的必要性。博主还探讨了原问题与对偶问题的强对偶性,指出SVM的优化问题满足强对偶性,适合通过对偶问题求解。
摘要由CSDN通过智能技术生成

SVM中拉格朗日乘子法、KKT条件、对偶问题详解

创作目的

我是机器学习初学者,目前正在上机器学习课,老师的SVM部分讲解的非常细致,我收获颇丰于是想自己记录一下SVM的详细内容以及推导过程方便自己以后复习。这一节主要针对拉格朗日乘子法以及其KKT条件还有强对偶、弱对偶问题进行总结和推导,希望在这一块有疑问的同学可以一起交流学习。萌新第一次写博客,很多地方表述不足希望大家指出。

1.SVM回顾

支持向量机(SVM)是目前最好的有监督分类方法之一,SVM分类器的基本型的推导很多书以及网上都有这里就不再介绍了,如果有时间以后可以补上。知乎上我找到一位作者总结的很到位感兴趣的读者可以去看看:支持向量机基本概念

SVM基本型基于两类最大化间隔的思想等价于下面这个优化问题:

在这里插入图片描述
(1) 式本身就是一个凸二次规划问题,凸函数以及凸二次规划的定义可以见链接:

https://blog.csdn.net/promisejia/article/details/81241201

凸二次规划问题可以直接用现成的优化计算包求解但这样计算较复杂,所以我们引入朗格朗日乘子法对其"对偶问题"进行更高效的求解。(1)的对偶问题为:
在这里插入图片描述
上式必须要满足KKT条件:
在这里插入图片描述
将KKT条件最后两项代入约束目标,这样原问题(1)就转换成了只有α的二次规划问题,一般采用SMO算法可以很快求解出近似解,SMO算法我将在下一次详细总结。

身边很多同学刚开始学SVM到这的时候就开始“黑人问号.jpg”了。什么是拉格朗日乘子?什么是对偶问题?为什么求min就转变成求max min了?KKT条件又是什么鬼?下面我一一进行解答。

2.拉格朗日乘子法

拉格朗日乘子法最开始是只针对等式约束优化问题提出的。对于一个等式约束优化问题:
在这里插入图片描述

引入一个自变量α,α可以取任意值,则(2)严格等价于:
在这里插入图片描述
现在来证明一下,我们把(3)式分满足(2)的约束条件和不满足两种情况讨论,即h(x)=0和h(x)≠0:
在这里插入图片描述
(4)与(3)等价,同时对于(4)由于α可以取任意值,当h(x)≠0时,αh(x)可以无限大,那么取最小值时永远不可能取到h(x)≠0的情况。那么(3)就严格等价于h(x)=0的情况,也就是(2)了,证毕。

但是SVM算法基本型是一个不等式约束优化,同样对于一个不等式约束:
在这里插入图片描述
它等价于(6),这里α加上了约束,不再可以取任意数而是取大于等于0的数:

在这里插入图片描述
证明同上,讨论

  • 7
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值