SVM算法相关推导[四]——带L1正则项的软间隔SVM

最新推荐文章于 2021-03-21 19:47:22 发布

xingzhe2001

最新推荐文章于 2021-03-21 19:47:22 发布

阅读量1.5k

点赞数

文章标签：机器学习 SVM

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/xingzhe2001/article/details/82974259

版权

当数据不完全可分时，SVM通过引入L1正则项实现软间隔，允许部分误分类。通过修改原始问题，添加正则项后，利用拉格朗日乘子法构建约束优化问题，求解对偶问题，目标函数变为新的形式。结合KKT条件，可以得到优化后的SVM模型。

摘要由CSDN通过智能技术生成

前边我们的假设都是数据完全可分。但是有的时候可能由于数据的问题使得数据并不是完全可分，这时候我们需要对SVM做一点修改，使得它可以接受部分不可分的数据。

我们会在原始问题的后面加一个正则项

$\min_{w,b,c,\xi } \frac{1}{2} \left \| w \right \|^2+c\sum_{i=1}^m\xi_i\\ \begin{align*} s.t.\ & y^{(i)}(w^Tx^{(i)}+b) \geq 1-\xi_i\\ &\xi \geq 0 \end{align*}$

如果

$y^{(i)}(w^Tx^{(i)}+b)>0$

则分类正确

求解的方法和标准SVM一样，

先根据两个约束写出拉格朗日式子

最低0.47元/天解锁文章

关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
SVM算法相关推导[四]——带L1正则项的软间隔SVM

前边我们的假设都是数据完全可分。但是有的时候可能由于数据的问题使得数据并不是完全可分，这时候我们需要对SVM做一点修改，使得它可以接受部分不可分的数据。我们会在原始问题的后面加一个正则项如果则分类正确求解的方法和标准SVM一样，先根据两个约束写出拉格朗日式子对这个式子对各个变量求偏导取0，将得到的式子带入L消去变量，并求对偶问题，最后我们得到的目标是根据...
复制链接

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。