机器学习：支持向量机(SVM)与Python实现第(三)篇

前言

最近看了Andrew Ng的机器学习视频中的支持向量机，视频的内容比较浅显，没有深入解释支持向量机中的数学原理。但是对于一个比较执着于知道为什么的人，笔者还是去网上查找了有关支持向量机原理以及实现的相关资料。在查找的过程中，笔者发现支持向量机的内容还是蛮多的，于是笔者根据自己的理解，并且参考了一些相关资料，最终写下了支持向量机的四篇博客。
机器学习：支持向量机(SVM)与Python实现第(一)篇——此篇主要介绍了分类间隔，引入SVM。
机器学习：支持向量机(SVM)与Python实现第(二)篇——此篇主要介绍了使用拉格朗日乘子来简化SVM问题的优化。
机器学习：支持向量机(SVM)与Python实现第(三)篇——此篇主要介绍非线性分类(核函数)以及松弛变量。
机器学习：支持向量机(SVM)与Python实现第(四)篇——此篇主要介绍SMO算法并用python实现了简单的SVM分类器。

核函数

前面我们介绍了很多东西，但一直都是基于数据是线性可分的。那么对于那些非线性的数据呢？

比如上面的图，数据显然不是线性可分的(事实上得用圆来作边界)。我们知道二次曲线方程(圆是特殊的二次曲线)一般可以写成：

$$\begin{aligned} w_1x_1^2+w_2x_2^2+w_3x_1x_2+w_4x_1+w_5x_2+w_6=0 \end{aligned}$$ 在这里我们的特征变量可以写成：
$$\begin{aligned} \phi (x)=\begin{bmatrix} x_1^2\\ x_2^2\\ x_1x_2\\ x_1\\ x_2 \end{bmatrix} \end{aligned}$$ 回顾以前的输入是向量 x，现在由于是非线性的，所以我们的输入映射成 $\phi(x)$，也就是为了使用之前博文说的算法，要把向量 x替换成 $\phi(x)$。

但是我们注意到一个问题，就是上一篇博文最后推导出来的式子中，x都是以内积的形式存在的，即$\left \langle x^{T},z \right \rangle$的形式。现在我们替换成了$\phi(x)$，就会变成$\left \langle \phi(x)^{T},\phi(z) \right \rangle$。具体一点，我们定义这个内积为:

$$K(x,z)=\left \langle \phi(x)^{T},\phi(z) \right \rangle$$ 所以上一篇博文最后推导出来的内积都可以用 $K(x,z)$替换。也就是：

maxα s.t  W(α)=∑i=1mαi−12∑i,j=1my(i)y(j)<