手撕SVM公式——硬间隔、软间隔、核技巧

最新推荐文章于 2025-03-18 23:12:12 发布

Dominic_S

最新推荐文章于 2025-03-18 23:12:12 发布

阅读量1.7w

点赞数 57

分类专栏：学习笔记文章标签： SVM 支持向量机 SVM公式推导软间隔硬间隔核函数核技巧

本文链接：https://blog.csdn.net/Dominic_S/article/details/83002153

版权

1.SVM作用

对于给定的训练样本集D={(x1,y1), (x2,y2),… (xn,yn)}，yi属于{-1，+1}，希望能找出一个超平面，把不同类别的数据集分开，对于线性可分的数据集来说，这样的超平面有无穷多个，而最优的超平面即是分隔间距最大的中间那个超平面

2.硬间隔最大化

超平面2
硬间隔
对于以上的KKT条件可以看出，对于任意的训练样本总有ai=0或者yif(xi) - 1=0即yif(xi) = 1
1）当ai=0时，代入最终的模型可得：f(x)=b，即所有的样本对模型没有贡献
2）当ai>=0，则必有yif(xi) = 1，注意这个表达式，代表的是所对应的样本刚好位于最大间隔边界上，是一个支持向量，这就引出一个SVM的重要性质：训练完成后，大部分的训练样本都不需要保留，最终的模型仅与支持向量有关。