机器学习中常用的核函数

在机器学习中常用的核函数，一般有这么几类，也就是LibSVM中自带的这几类：
1) 线性：
2) 多项式：
3) Radial basis function：
4) Sigmoid：

举例：有一个一维的数据分布是如下图的样子，用一个直线来分开，发现不论画在哪，比如绿色竖线，都不可能把两个类分开。

使用一个简单的升维的方法，把原来一维的空间投射到二维中，x->(x, x^2)。
0->(0,0) 
1->(1,1)
2->(2,4)

 

举例2 多项式核函数中的情况。

下面这张图位于第一、二象限内。我们关注红色的门，以及“北京四合院”这几个字下面的紫色的字母。我们把红色的门上的点看成是“+”数据，紫色字母上的点看成是“-”数据，它们的横、纵坐标是两个特征。显然，在这个二维空间内，“+”“-”两类数据不是线性可分的。

 

我们现在考虑核函数，即“内积平方”。
这里面是二维空间中的两个点。

这个核函数对应着一个二维空间到三维空间的映射，它的表达式是：

可以验证，

在P这个映射下，原来二维空间中的图在三维空间中的像是这个样子：

（前后轴为x轴，左右轴为y轴，上下轴为z轴）

注意到绿色的平面可以完美地分割红色和紫色，也就是说，两类数据在三维空间中变成线性可分的了。

参考链接：https://www.zhihu.com/question/24627666