秦刚刚的机器学习成长之路之高斯核函数为什么能将原始空间映射为无穷维空间(核函数)

写作背景：很多时候数据在低维空间的时候很难将它们区别开来，所以需要借助核函数将其映射到高维空间中，例如谱聚类，SVM等算法。但是一开始，这其中的原理很多人不知道(例如我啦，哈哈哈)，因此有了这篇简单的文章^_

1.核函数的作用及意义

低维计算，高维表现

2.高斯核函数为什么能将原始空间映射为无穷维空间？

思路：从泰勒展开式的角度来解释，如下：

$e^x$的泰勒展开式为：
$$e^x=1+x+\frac{x^2}{2!}+\frac{x^3}{3!}+\cdots +\frac{x^n}{n!}\text{\hspace{1em}(1)}$$
可以看到：式(1)是一个无穷多项的式子。

而高斯核函数为：
$$k(x_1,x_2)=e^{(-\frac{||x_1-x_2|{|}^2}{2{\sigma }^2})}\text{\hspace{1em}(2)}$$

将泰勒展开式带入式(2)中，可以得到一个无穷维度的映射，如下：
(3) k ( x 1 , x 2 ) = 1 + ( − ∣ ∣ x 1 − x 2 ∣ ∣ 2 2 σ 2 ) + ( − ∣ ∣ x 1 − x 2 ∣ ∣ 2 2 σ 2 ) 2 2 ! + ( − ∣ ∣ x 1 − x 2 ∣ ∣ 2 2 σ 2 ) 3 3 ! + ( − ∣ ∣ x 1 − x 2 ∣ ∣ 2 2 σ 2 ) n n ! k(x_1,x_2) = 1+(-\frac{||x_1-x_2||^2}{2\sigma^2})+\frac{(-\frac{||x_1-x_2||^2}{2\sigma^2})^2}{2!}+\frac{(-\frac{||x_1-x_2||^2}{2\sigma^2})^3}{3!}+\frac{(-\frac{||x_1-x_2||^2}{2\sigma^2})^n}{n!} \tag 3 k(x1​,x2​)=1+(−2σ2∣∣x1​−x2​∣∣2​)+2!(−2σ