再生希尔伯特空间_到底啥是希尔伯特空间和再生希尔伯特空间

首先从我们最常见的欧几里得空间说起，实际上，欧几里得空间，希尔伯特空间，巴拿赫空间或者是拓扑空间都属于函数空间。函数空间 = 元素 + 规则 ，即一个函数空间由元素与元素所满足的规则定义，而要明白这些函数空间的定义首先得从距离，范数，内积，完备性等基本概念说起。

1、线性空间，在线性空间中，元素就是向量（单维、多维、单元素等），规则说白了就是运算，在线性空间中，我们只能对向量（元素）进行加法和数乘（不是向量乘是常量乘向量）计算，例如对于[1,2]和[2,3]进行求和运算得到[3,4]，或者进行[1,2]*3=[3,6]这样的计算；

线性空间是下面介绍的空间的基本空间，我们通过扩展规则使得线性空间进化为其它的空间

2、距离（度量）空间，比如我们i想要知道[1,2]和[2,3]之间的距离是多少，此时我们就需要引入距离的概念，此时从线性空间上升到了距离空间，在这个空间中，元素还是向量，但是规则变多了，我们从基本的加法和数乘计算扩展到了距离计算，这里的距离计算就有很多了，比如欧式距离、曼哈顿距离、切比雪夫距离等等；

3、内积空间，比如我们想知道[1,2]和[2,3]这两个元素（向量）的余弦相似度，此时我们要扩充一个内积的规则，即向量之间可以进行内积计算，从而得到两个元素的夹角余弦值从而推出夹角大小；

4、赋范线性空间，比如我们想知道[1,2]这个向量的长度是多少，就需要对范数计算进行定义，因为向量在标准正交基的条件下的的长度计算其实就是L2范数

5、欧式空间

定义了内积的有限维线性空间

有限维：设A是线性空间E的一个线性无关子集，我们设A的维度为dimE。当dimE< +∞时，称E为有限维的，否则称E为无限维的，即欧式空间中没有无限维的计算的概念；

6、完备空间

完备空间涉及到完备性的概念，完备性是在极限的基础上衍生的概念。例如在有理数集上的一个序列{1，1.4，1.41，1.414，1.4142…}，可知此序列极限为2根号2​，而根号2​为无理数，不属于有理数集，即有理数集不具备完备性，也就是有理数集不具备极限的概念，因为有理数集上的数都是确定的；

完备空间的提出主要是为了研究收敛性（极限）问题，例如我们常见的机器学习算法几乎都涉及到收敛的问题，如逻辑回归的梯度下降法的参数训练就涉及到收敛性的问题，而这样的计算规则，在欧式空间中是不具备的；

7、希尔伯特空间

完备+内积空间，即完备的内积空间，在这个空间中，我们可以像欧式距离一样定义内积计算的规则，也可以定义收敛性的计算规则；

在数学中，希尔伯特空间是欧几里德空间的一个推广，其不再局限于有限维的情形。与欧几里德空间相仿，希尔伯特空间也是一个内积空间，其上有距离和角的概念（及由此引申而来的正交性与垂直性的概念）。此外，希尔伯特空间还是一个完备的空间，其上所有的柯西序列等价于收敛序列，从而微积分中的大部分概念都可以无障碍地推广到希尔伯特空间中。希尔伯特空间为基于任意正交系上的多项式表示的傅立叶级数和傅立叶变换提供了一种有效的表述方式，而这也是泛函分析的核心概念之一。希尔伯特空间是公式化数学和量子力学的关键性概念之一。

我们需要知道的是，一般来说对于普通的向量是没有所谓的极限的概念的，我们比较常见的极限的计算，例如：

极限计算针对的一般是函数，因此，希尔伯特空间一般是指函数空间,我们在欧几里得空间只能定义向量的内积计算，而希尔伯特空间可以定义函数的内积计算，

函数内积的计算的定义：

我们有两个函数f(x)与g(x)与区间[a,b]，且两函数在该区间上可积且平方可积。则积分

我们称之为函数的内积，函数的内积常记作<f(x),g(x)>，如果是离散的函数则我们可以直接：

用矩阵表示就是F(X)*G(X)

是不是似曾相似？实际上这和svm中的核函数的概念是重合的，这里我们举一个简单的例子，假设有一个核函数为：

其中x和y表示二维空间中的点的横纵坐标，这里这个核函数实现的功能是将一个二维的点映射到三维，我们设V1=(x1,y1),V2=(x2,y2)，那么这里我们就可以定义函数的内积计算：

8、再生核希尔伯特空间

再生核希尔伯特空间是支持监督学习（SVM）等监督学习模型的理论基础，实际上再生核希尔伯特空间就是是由核函数构成的希尔伯特空间，这里的再生值得是再生性，这里的核函数比如LibSVM中自带的几类：

1) 线性：

2) 多项式：

3) 高斯核：

4) Sigmoid：

设

是输入空间(欧式空间

的子集或离散集合)，又设

是特征空间(希尔伯特空间)，如果存在一个

到

的映射

使得对所有

，函数

满足条件

则称

为核函数，

为映射函数，式中

为

和

的內积。

再生性指的就是原本函数之间计算内积需要算无穷维的积分（也就是这个映射函数可以映射到高维甚至无穷维（高斯核），而计算无穷维的积分是非常复杂的），但是现在只需要算核函数可以。

他们之间的关系如下图：