SVM原理及代码实现（学习笔记）

1.概念

支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面.它分类的思想是，给定给一个包含正例和反例的样本集合，svm的目的是寻找一个超平面来对样本根据正例和反例进行分割，从而达到分类的目的。

2.SVM-线性分类器

 对于二维空间来说，我理解的是能够在给定两组不同的数据中用一条直线把这两组数据给分离开来，如下图示。

 

 超平面

对于多维来说，如果能够存在一个线性函数能够将样本完全正确的分离开来，那么这些数据就是线性可分的，反之，称为非线性可分的。什么叫线性函数呢？通俗地讲，就是在一维空间里就是一个点，在二维空间里就是一条直线，三维空间里就是一个平面，以此类推。
如果不关注空间的维数，这种线性函数其实就是超平面。

下面讲述一个例子（转自视频：https://www.bilibili.com/video/BV1D64y1f7r6?p=1）：

 在样本空间中，我们可以用线性方程来说明：

 对于二维空间来说，线性方程可表示为：w1x1+w2x2+b=0。其中，w=(w1;w2;w3;……w d)为法向量，决定超平面的方向；b为位移项，决定了超平面与原点之间的距离，显然,划分超平面可被法向量w和位移b确定，下面我们将其记为(w，b)。样本空间中任意点x到超平面(w，b)的距离可写为