可再生核希尔伯特空间 (RKHS, reproducing kernel Hilbert space)

可再生核希尔伯特空间

1、空间

包含元素和结构（规则）。

2、线性空间

定义了加法和数乘的空间。

3、度量空间

定义了距离的空间距离的定义有欧氏距离、曼哈顿距离、闵科夫斯基距离、马氏距离、切比雪夫距离。
距离是两个元素对应一个数。

4、赋范空间

定义了范数的空间，范数是指元素的“长度”，理解为一个元素对应一个数，范数针对一个元素而言，距离是针对两个元素而言的。有了范数一定能定义距离，但是有距离不能定义范数。

5、线性赋范空间

定义了加法、数乘和范数的空间。

6、巴纳赫空间

就是完备的赋范空间。
完备的定义：如果一个空间是完备的，那么该空间中的任何一个柯西序列都收敛在该空间之内。
完备的理解：在一个空间上定义了极限，但是不论怎么取极限，它的极限的值都不会跑出这个空间，那么这个空间就是完备空间。在定义完备空间之前，要先有距离的概念。所以完备空间，其实也就是完备度量空间。

举例：理解任意柯西序列都收敛在该空间：
设定义在有理数空间Q上的序列：x_n=([√2n])/n，其中[x]表示x取整数部分。对于这个数列来说，每一个元素的分子分母都是整数，所以每一个xn都在有理数空间Q上，那这个序列的极限呢，稍有常识的人都能看出，这个序列的极限是√2，而这并不是一个有理数，所以这个柯西序列的极限不在该空间里面，也就是说有理数空间Q是不完备的。

巴纳赫空间满足的特性：距离、范数、完备。

7、内积空间

定义了内积的空间就是内积空间。内积的定义需要满足某些条件。
只有内积定义，才会有夹角的概念，才会有正交的概念，另外内积也可以定义范数，也就是说内积是比范数更具体的一个概念。

8、欧氏空间

定义了内积的有限维实线性空间。

9、希尔伯特空间

就是完备的内积空间。
只有加法和数乘的就是线性空间；
定义了距离的线性空间就是线性度量空间；
再具体一点，定义了范数，就是赋范空间；
再多定义一个内积，就是内积空间；
内积空间，再多定义一个完备性就是希尔伯特空间，这里的完备性是为了取极限操作而准备的。也就是说，有了完备性，取极限才不会跑出自己的空间。

为什么要这么麻烦呢？是因为研究不同问题的需要，之前说了，现代数学以集合为研究对象，首先确定所研究的元素，然后定义需要用到的结构。例如欧式空间中，每一个向量就是我们所研究的元素，內积运算就是我们所定义的结构。有些问题我们不涉及夹角，只用研究距离和线性性质，那我们完全可以在线性度量空间中来研究，就没有必要定义內积；甚至有时我们连距离都不需要，这样的空间叫拓扑空间（元素的交并运算仍属于同一集合）。所以说，这些空间概念的定义，这些结构的定义是为了研究各种不同的具体问题，或者说是为了将现实中各种具体问题抽象出来，为解决问题提供严谨的数学理论基础。这便是这些空间的由来。

欧式空间的应用场景很好理解，因为我们生活的就是一个三维的欧式空间，我们想当然的理解的距离，长度，夹角的概念就是欧式空间中距离，范数，內积的定义。那么希尔伯特空间的应用场景呢，希尔伯特空间中的元素一般是函数，因为一个函数可以视为一个无穷维的向量。如果大家熟悉傅里叶变换或者泰勒展开，便能自然的想到这个空间的基底是什么。没错，也是一组无限多的函数。

10、可再生核希尔伯特空间

SVM中的核技巧：
核技巧将不能线性可分的数据集映射到高维空间，使其变得线性可分。
理解再生核希尔伯特空间与核技巧的关系：
定义了一种核函数（例如径向基函数），就定义了一个希尔伯特空间，而这个核函数的再生性使得我们可以不去计算高维特征空间中的內积，而只需计算核函数，降低了大量的计算量。

参考

RKHS, reproducing kernel Hilbert space