Kernel methods

核方法（Kernel methods）

核方法可以将数据集从低维映射到高维，使得线性不可分的情况变得线性可分。然而，映射后的目标空间维数太大，无法进行空间中的向量内积运算。因此我们定义了核函数，它可以代替求解高维空间中向量内积的运算。

在如下的原空间中，可以用一个椭圆曲线将数据区分开：

但当我们引入一个映射函数以后，新的三维空间内数据就线性可分了。

定义一个Kernel Function来代替高维空间的内积，下图是具体的推导过程：

这样一来我们并不需要知道feature mapping Φ 到底长什么样子，而是只要知道K，就可以通过原空间中两个点的内积算得新空间中对应的两个点之间的内积。
例如，对于一个多项式核，二维向量x,y

根据上面的式子，我们可以计算在新的空间中x与y所对应的内积。

---

reference
https://blog.csdn.net/baimafujinji/article/details/79372911