非线性支持向量机（SVM）与核函数（kernel），python实现

将线性支持向量机向非线性支持向量机推广需要用到核函数技巧（kernel trick），一般分为两步：
1、使用一个变换将原空间的数据映射到新空间；
2、在新空间用线性分类器分类学习从训练数据中学习分类模型。
核函数运用到支持向量机就是通过一个非线性变换将输入空间对应到一个特征空间，使得在输入空间${\text{R}}^n$中的超曲面模型对应于特征空间中的超平面模型。这样，分类问题就可以通过在特征空间中求解线性支持向量机完成。
核函数的定义：
$$\varphi (x):X\to H$$
$$K(x,z)=\varphi (x)\cdot \varphi (z)$$
其中，$\varphi (x)$为映射函数，$\varphi (x)\cdot \varphi (z)$为内积
$K(x,z)$称为核函数。
使用核函数的优势在于，在核函数$K(x,z)$给定的情况下，可以利用解线性分类问题的方法求解非线性分类问题的支持向量机。学习是隐式地在特征空间进行的，不需要显示地定义特征空间和映射函数。在实际应用中，往往是依赖领域知识直接选择核函数，核函数选择的有效性需要通过实验验证。

常用的核函数

1、多项式核函数(polynomial kernel function)
$$K(x,z)=(x\cdot z+1{)}^p$$
对应的支持向量机是一个p次多项式分类器，在此情形下，分类决策函数为：
$$f(x)=sign(\sum _{i=1}^{N_s}{\alpha }_i^{}$$