核函数

1.高维空间比低维空间更易线性可分

2.核函数是关于两个向量参数的函数

3.正定核函数等于两个向量参数映射到高维空间的内积

4.正定核函数等价于gram matrix是半正定的

5.常用的核函数有线性核、多项式核、Sigmoid核、RBF核、拉普拉斯核、卡方核

6.RBF核函数的本质就是将每一个样本点映射到无穷维的特征空间

背景介绍

在一些线性不可分的场景中，常常要用到一些非线性转化的方法，把低维空间映射到高维，使得其线性可分。比如支持向量机场景下的分类模型，对于二维空间下的以下四个点及其对应的分类：

可以看到，在该空间上，这两类线性不可分，就是找不到一条直线，使得将其分开。

我要对这些点做一个映射，将其映射至三维空间，比如做如下映射

做这样的映射后，可以将二维空间转换到三维上：

可见，只要一个超平面，就能把两个类别分开。

所以，在很多低维线性不可分的场景中，我们做一个高维的转化，就能使其线性可分。且，天才数学家们发现了一个定理

Cover Theme：高维空间比低维空间更易线性可分

因此，很多机器学习的场景，都利用到了高维转化。比如支持向量机，高斯过程回归等。

很多优化场景中，我们对高维转化的本身并不关心，只关心其转化后内积的结果（上述提到的SVM如是），如果在高维空间上做内积，计算将十分繁杂并且对计算机的性能要求非常高。

为此，我们能不能想到一