在上一篇中,一切的推导都是基于上图这种类型,建立在数据分布是线性可分的情况,然而很多情况下都不是线性可分的。例如下图这种情况。
从图中可以看出,无论哪一条线都无法将两类点分开。这个时候就要引入核函数的概念了。
三、核函数
上一篇文章中最后推导得到了:
现在我们把它们带入到分界方程:
如果我们已经求出了α与b,那么y可以写成仅仅依赖xi与xj的矢量积形式,这一点非常关键。很多时候我们需要从数据中挖掘出新的特征来进行训练,而不是简单粗暴的使用原始数据,比如我们从x中挖掘出新的特征x平方,我们需要再一步一步推导y的表达式吗?只需要将<xi,x>换成<(xi)2,x2>(平方形式)就可以。
整个过程很流畅,φ(x)可以将数据从低维空间映射到高维空间中,为分类提供了新的视角。如下图所示:
在以为空间中是,两种点无法分开,但是通过φ(x)=(x,0.5x*x+2)映射到二维空间后,很容易找到分界线将这些不同的点分开。低维映射到高维使得线性可分成为可能。考虑到m<<n,这引起一个问题就是随着维数的增大计算量迅速变大,如何简化操作呢。在这里引入核函数:
通过映射函数,我们能从原始数据中(低维空间)抽象出所需的