034.（9.2）核

参考： 机器学习中的核函数与核方法（是什么？为什么？怎么做？）

简介

核方法：对于非线性问题，通过引入核函数：

对特征进行映射 （如上图的二维到三维。通常映射后的维度会更高），就是将一个空间中的特征转换到另外一个空间，这就是空间转换（映射）的意义，即可以将原来线性不好分的数据转换到另外一个空间，在这个空间中可以用一个超平面线性可分。

而核函数就等于就是高维空间的内积，也是低维空间中内积的某个函数。

即：相比映射到高维再进行复杂运算，核函数的作用是先在低维进行运算，再映射到高维。

补充说明

为什么用核函数？ 在机器学习中，求解的过程常用到内积，而变换后的高维空间的内积我们不好求，所以定义了这个核函数，可以把高维空间的内积运算转化成低维空间的某些运算，不用过于关注如何映射。

判断一个核函数是否有效的方式是通过Mercer定理：
核方法

简谈高斯核

高斯核是最常使用的核函数之一，它可以把数据映射至无穷维。同时，可以调节参数σ，来改变特征权重，这也使得高斯核更为灵活。

公式：

（绝对值平方部分可以理解为x与另一点的欧氏距离）

根据泰勒展开式，可以看出高斯核其实是0-n维的多项式核函数的和。

张骞晖：SVM中，高斯核为什么会把原始维度映射到无穷多维？