支持向量机的核函数

核函数

什么是核函数？核函数是特征转换函数。这是非常抽象的描述，这一节的内容就是为了理解这个抽象的概念的。

从多项式说起

假设我们有一个非线性分界线的分类问题，有两个特征 $x_1, x_2$ ，回顾逻辑回归算法里的知识，我们可以使用多项式来增加特征，以便描述出非线性分界线。当：

$$\theta_0 + \theta_1 x_1 + \theta_2 x_2 + \theta_3 x_1 x_2 + \theta_4 x_1^2 + \theta_5 x_2^2 + ... >= 0$$

时，我们预测出 $y=1$。上述公式只写了二阶多项式，我们可以写到更高阶的多项式来模拟复杂的分界线。我们改写一下上面的公式：

$$\theta_0 + \theta_1 f_1 + \theta_2 f_2 + \theta_3 f_3 + \theta_4 f_4 + \theta_5 f_5 + ... >= 0$$

这里，$f_1=x_1, f_2 = x_2, f_3 = x_1 x_2, f_4 = x_1^2, f_5 = x_2^2 ...$ 。

那么问题来了，除了多项式外，有没有更好地途径把特征 $x_1, x_2$ 映射到特征 f1,f2,f3,f4,f