机器学习实战【6】（非线性SVM）

本博客记录《机器学习实战》（MachineLearningInAction）的学习过程，包括算法介绍和python实现。

非线性SVM

上一篇文章中介绍的SVM能够解决很多线性分类问题，但存在两个问题。一是分隔平面附近的噪声点会对平面造成很大的影响，甚至造成无解；二是这个分类器对非线性的数据无能为力。

松弛变量

解决第一个问题，即减小噪声点的影响，可以通过松弛变量来完成。简单地说就是用一个变量对约束条件进行调整，从而容忍个别数据点被分错。原本的问题是：

$$\min\frac{1}{2}||w||^2, s.t.,y_i(wx_i+b) \ge 1$$
对每个数据点引入一个松弛变量 $\xi_i\ge0$放宽约束条件，变成：
$$y_i(wx_i+b) \ge 1 - \xi_i$$
但此时的问题也要修改，因为我们要对松弛变量加以限制，否则无限大的松弛变量会使约束失效。此时问题变成：
$$\min\frac{1}{2}||w||^2 + C\sum_{i = 1}^n\xi_i \\ s.t.,y_i(wx_i+b) \ge 1 - \xi_i$$
此时我们要最小化的变量多了一个松弛变量的总和，其中的常量C用于控制两者的权重。
使用同样的方法把这个问题转化为对偶问题，最后化简为：

maxα∑i=1nαi−12∑i,j=1nαiαjyiyjxTixjs.t.,0≤α