核函数的理解

1. 在低维空间计算高维空间的点积
2. 核函数只是一种处理问题的技巧，低维空间线性不可分可以在高维空间线性可分，但是高维空间的计算复杂度又很大，那么我们就把高维空间的计算通过低维空间的计算外加一些线性变换来完成。

现在该如何计算映射后的内积呢？

传统方法是先计算映射后的向量ϕ(xi)和ϕ(xj)，然后再计算它俩的内积。但是这样做计算很复杂，因为映射到高维空间后的数据维度很高。比如，假设xi和xj在映射之后都是一个( 1×10000)维的向量，那么他们的内积计算就需要做10000次加法操作和10000次乘法操作，显然复杂度很高。
于是，数学家们就想出一个办法：能不能在原始空间找到一个函数K(xi,xj)使得K(xi,xj)=<ϕ(xj),ϕ(xj)>呢？ 如果这个函数存在，那么我们只需要在低维空间里计算函数K(xi,xj)的值即可，而不需要先把数据映射到高维空间，再通过复杂的计算求解映射后的内积了。庆幸的是，这样的函数是存在的。这样一来计算的复杂度就大大降低了，这种简化计算的方法被称为核技巧（The Kernel Trick），而函数(K)就是核函数（Kernel Function）。