SVM原理及代码实现（学习笔记）

最新推荐文章于 2024-07-04 23:13:55 发布

m0_57892392

最新推荐文章于 2024-07-04 23:13:55 发布

阅读量6.6k

点赞数 5

文章标签：机器学习 python

本文链接：https://blog.csdn.net/m0_57892392/article/details/119947533

版权

本文介绍了SVM的基本概念，包括最大边距超平面和线性分类器。通过拉格朗日乘子法求解KNN条件，探讨了非线性分类时如何通过核函数在高维空间进行分割。SVM的优势在于其凸优化特性、控制模型能力以及处理噪声数据的能力。文中还提到了解决多分类问题的方法和SVM与其他机器学习算法的对比。

摘要由CSDN通过智能技术生成

1.概念

支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面.它分类的思想是，给定给一个包含正例和反例的样本集合，svm的目的是寻找一个超平面来对样本根据正例和反例进行分割，从而达到分类的目的。

2.SVM-线性分类器

对于二维空间来说，我理解的是能够在给定两组不同的数据中用一条直线把这两组数据给分离开来，如下图示。

超平面

对于多维来说，如果能够存在一个线性函数能够将样本完全正确的分离开来，那么这些数据就是线性可分的，反之，称为非线性可分的。什么叫线性函数呢？通俗地讲，就是在一维空间里就是一个点，在二维空间里就是一条直线，三维空间里就是一个平面，以此类推。
如果不关注空间的维数，这种线性函数其实就是超平面。

下面讲述一个例子（转自视频：https://www.bilibili.com/video/BV1D64y1f7r6?p=1）：

在样本空间中，我们可以用线性方程来说明：

对于二维空间来说，线性方程可表示为：w1x1+w2x2+b=0。其中，w=(w1;w2;w3;……w d)为法向量，决定超平面的方向；b为位移项，决定了超平面与原点之间的距离，显然,划分超平面可被法向量w和位移b确定，下面我们将其记为(w，b)。样本空间中任意点x到超平面(w，b)的距离可写为