一. 什么是核函数?
支持向量机算法分类和回归方法中都支持线性和非线性类型的数据。非线性类型通常在二维平面不可分,为了使数据可分,需要通过一个函数将原始数据映射到高维空间,从而使得数据在高维空间很容易区分,这样就能达到数据分类或回归的目的,而实现这一目标的函数就称为核函数。
二. 为什么要使用核函数?
因为在从低维空间映射到高维空间时,样本向量会不断做内积,导致要做大量的计算,称作维度灾难。
为了解决维度灾难问题,我们可以构造核函数使得计算结果等同于非线性映射,同时运算量又远小于非线性映射。
三. 举例:
定义两个向量:x = (x1, x2, x3),y = (y1, y2, y3)。
定义高维向量方程:f(x) = (x1x1, x1x2, x1x3, x2x1, x2x2, x2x3, x3x1, x3x2, x3x3)
假设:x = (1, 2, 3),y = (4, 5, 6)。
得到:f(x) = (1, 2, 3, 2, 6, 3, 6, 9),f(y) = (16, 20, 24, 20, 25, 36, 24, 30, 36)。
求内积:<f(x), f(y)> = 16 + 40 + 72 + 40 + 100 + 180 + 72 + 18 + 0 + 324 = 1024
定义核函数:K(x, y) = (<x, y>) ^ 2
K(x, y) = (1*4 + 2*5 + 3*6) ^ 2 = 1024
同样的结果,使用核函数会简单得多。
紧接上一节内容:
在求解最优化问题中,我们还是需要将此问题做如下变形(在数学中更好解):