支持向量机（三）——利用核函数得到非线性分类器

• 支持向量机（一）——线性可分支持向量机
• 支持向量机（二）——松弛变量处理异常点
• 支持向量机（三）——利用核函数得到非线性分类器

3 核函数与非线性支持向量机

3.1 核函数

如果训练数据本身是非线性的，比如按下图分布：

那么此时原输入空间没有超平面能将训练集很好地分离开，但存在这样的超曲面。而我们仍然希望用求解线性分类问题的方法求解非线性问题。这时可以将原输入空间中的数据点通过非线性变换，映射到新特征空间去，在此特征空间中，训练集是线性可分的，这时可以使用线性分类的方法找解决分类问题。比如上图中，将左边的原始输入空间映射到右边的新特征空间中去，然后用线性分类器在新空间中解决分类问题。

核函数
设$\cal X$是输入空间（欧式空间$\mathbb R^n$的子集或者离散集合），设$\cal H$为特征空间（希尔伯特空间），如果存在一个从$\cal X$到$\cal H$的映射

$$\phi(x):{\cal X} \rightarrow{\cal H}$$ 使得对所有的 $x,z\in {\cal X}$，函数 $K(x,z)$满足条件
$$K(x,z)=\phi(x)\cdot\phi(z)$$
则称 $K(x,z)$为核函数， $\phi(x)为映射函数。$

但是，