SVM支持向量机原理及核函数

原文链接：SVM支持向量机原理及核函数

转载请注明出处

支持向量机原理

大距离分类算法

1、名词解释：

• 分割超平面：如下图所示，构造一个分割线把圆形的点和方形的点分开，这个线称为分割超平面。

• 支持向量：离分割超平面最近的点

• 间距：支持向量到分割超平面距离的两倍

SVM算法的原理就是找到一个分割超平面，它能把数据正确的分类，并且间距最大！

2、计算间距

在而为空间里，可以使用方程$w_1x_1+w_2x_2+b=0$来表示分割超平面。针对高纬度空间，可以写成一般化的向量形式，即$w^Tx+b=0$。这里画出与分割线超平面平行的两条直线，分别穿过两个类别的支持向量。这两条直线的方程分别为$w^Tx+b=-1$和$w^Tx+b=1$。如下图所示：

根据点到直线的距离公式，可以算出支持向量A到分割超平面的距离为：

$$d=\frac{\left| w^{T}A+b \right|}{\left| \left| w \right| \right|}$$

由于点$A$在直线$w^Tx+b=-1$和$w^Tx+b=1$在，代入可的支持向量$A$到分割超平面的距离为$d=\frac{1}{\left| \left| w \right| \right|}$。为了使间距最大，只需找到合适的参数$w$和$b$，使$\frac{1}{\left| \left| w \right| \right|}$最大即可。$||w||$使向量$w$的L2范数，计算公式为：

$$\left| \left| w \right| \right|=\sqrt{\sum_{i=1}^{n}{w_{i}^{2}}}$$
求 $\frac{1}{\left| \left| w \right| \right|}$的最大值即使求 $||w||^2$的最小值：

$$\left| \left| w \right| \right|^{2}=\sum_{i=1}^{n}{w_{i}^{2}}$$

其中$n$为限量$w$的纬度。除了间距最大，分割超平面更能用来解决分类问题！回到上图，针对方形点$x$，必须满足$w^Tx+b≥1$的约束条件。针对圆形的点必须满足$w^Tx+b<=-1$的约束条件。
类别是离散的值，分别使用-1表示圆点类别，1表示方点类别，即$y\in \left\(-1,1 \right\)$。针对数据集中的所有样本 x(i)