机器学习 -- 支持向量机SVM（Ⅵ SVM中的核函数）

一. 什么是核函数？

        支持向量机算法分类和回归方法中都支持线性和非线性类型的数据。非线性类型通常在二维平面不可分，为了使数据可分，需要通过一个函数将原始数据映射到高维空间，从而使得数据在高维空间很容易区分，这样就能达到数据分类或回归的目的，而实现这一目标的函数就称为核函数。

 

二. 为什么要使用核函数？

        因为在从低维空间映射到高维空间时，样本向量会不断做内积，导致要做大量的计算，称作维度灾难。

        为了解决维度灾难问题，我们可以构造核函数使得计算结果等同于非线性映射，同时运算量又远小于非线性映射。

 

三. 举例：

定义两个向量：x = (x1, x2, x3)，y = (y1, y2, y3)。

定义高维向量方程：f(x) = (x1x1, x1x2, x1x3, x2x1, x2x2, x2x3, x3x1, x3x2, x3x3)

假设：x = (1, 2, 3)，y = (4, 5, 6)。

得到：f(x) = (1, 2, 3, 2, 6, 3, 6, 9)，f(y) = (16, 20, 24, 20, 25, 36, 24, 30, 36)。

求内积：<f(x), f(y)> = 16 + 40 + 72 + 40 + 100 + 180 + 72 + 18 + 0 + 324 = 1024

定义核函数：K(x, y) = (<x, y>) ^ 2

K(x, y) = (1*4 + 2*5 + 3*6) ^ 2 = 1024

同样的结果，使用核函数会简单得多。

 

紧接上一节内容：

在求解最优化问题中，我们还是需要将此问题做如下变形（在数学中更好解）：