机器学习---背后数学原理--SVM之核函数

核函数

在有的数据样本中，样本本就不是线性可分的。
所以，我们就希望 找到一个非线性函数，将样本数据由低维映射到高维，从而使得样本在高维空间下，是可以线性可分的。

cover theonemy: 高维比低维更容易线性可分。

即通过非线性带来高维的转换

假设这个非线性的映射函数为$z=\varphi (x)$
则，映射之后，样本的特征由x变为z


但是
有的时候$\varphi (x)$维度非常高，甚至为无限维。导致$\varphi (x_i{)}^T\ast \varphi (x_j)$的计算复杂度非常的高。

解决方法：使用核函数
因为观看模型，我们最终不是要得到$\varphi (x)$，我们只需得到$\varphi (x_i{)}^T\ast \varphi (x_j)$计算结果即可。

即想个方法，直接得到$\varphi (x_i{)}^T\ast \varphi (x_j)$的结果，而不要通过计算内积得到$\varphi (x_i{)}^T\ast \varphi (x_j)$值。

因此，我们定义一个核函数$k(x,x^{\prime })$， 有

我们的目标就是需要找到满足这种条件的核函数。
比如，有

核函数正式定义：

正定核