再生核希尔伯特空间（RKHS）和核函数

之前看SVM核函数相关的问题，总是会碰到再生核希尔伯特空间（Reproducing Kernel Hilbert Space, RKHS）不过一直没有太仔细了解过到底是指的什么，前几天研究了一下。

希尔伯特空间

先来说一下什么是希尔伯特空间。
这个概念听起来高大上，其实是个非常简单的概念。
先说什么是线性空间

线性空间

线性空间即定义了数乘和加法的空间。这个就是具有线性结构的空间。
有了线性空间的概念之后，因为有数乘和加法，所以空间中可以找到一组基底（Basis）能够通过线性组合得到空间中所有的点。

度量空间和赋范空间

距离的定义必须满足如下三个条件：
1. $d(x,y) \ge 0; d(x,y) = 0$ 的充要条件是$x=y$即非负性
2. $d(x,y) = d(y,x)$;对称性
3. $d(x,z) +d(z,y) \ge d(x,y)$ 满足三角不等式。

定义了距离的空间叫度量空间。
定义了距离的线性空间叫线性度量空间

接下来再定义范数$||x||$，范数的定义必须满足：
1. $||x|| \ge 0$即非负性
2. $||\alpha x|| = |\alpha |||x||$
3. $||x|| +||y||\ge ||x+y||$满足三角不等式

所以范数这个概念，可以看成从零点到$x$的距离，同时比价第二条（2），即数乘可以提取出来。
所以：由范数可以定义距离，即$d(x,y) = ||x-y||$，但是距离不可以定义范数
因为距离的定义，不满足范数的第二条条件
因为

$$||x|| = d(0,x)$$
但
$$||\alpha x|| =d(0,ax) ≠ |\alpha |||x||$$
举一个例子：

d(x,y)=∑(xi−y