【NeurIPS 2021】Softmax-free Transformer with Linear Complexity（数学概念补充）

高斯核：

线性支持向量机 (Linear-SVM) 被用于线性可分的数据集的二分类问题，而当数据集不是线性可分的时候，需要利用到核函数将数据集映射到高维空间，这样数据在高维空间中就线性可分。

例如下面的数据就是线性不可分的：

这是一个在当前空间下不可分的情况，我们可以利用核函数将数据映射到高维空间：

这个线性平面，返回到原来空间就是一个形状类似椭圆的决策边界：

这样就把问题解决了，从而找到了原空间的非线性分类边界。这个原空间的复杂，实质上是由高维空间的简单演绎过来的。

高斯核函数（Gaussian kernel），也称径向基（RBF）函数，是常用的一种核函数。它可以将有限维数据映射到高维空间，我们来看一下高斯核函数的定义：