再生核希尔伯特空间（Reproducing Kernel Hilbert Space）

---

一、Basic Definitions

Outline
①给定一个核函数，构建一个特征空间，使得原空间中两个样本之间的核函数值是对应于特征空间中样本之间的内积。
②给定空间映射，构造关联核函数。

1.The Basic Idea

①Feature Mapping
空间映射，将低维无法使用直线分隔样本点的空间，映射到高维可以使用平面分隔样本点的空间，具体思想案例如下图所示：

②Kernel Matrix
投影空间的内积矩阵

Example

③半正定矩阵

Example

④半正定核矩阵
对于任意sample，都能构成半正定矩阵

正半定的核函数符合下面的柯西不等式：

⑤空间函数定义（The Space of Functions）
空间函数：从$R^d$到$R$映射的所有函数的集合就叫函数集合的空间

实例1
下面的是一个R到R的两个函数实例，它们都属于$R^R$


实例2
$R^2\to R$

2.The Reproducing Kernel Map（再生核映射）

再生核映射：向量到函数的映射函数（下面的example中 $\Phi (0)$就是一个函数：${\phi }_0$ ），所有该映射代入值之后就可以形成核函数。

---

二、Theorems and Proofs

构建一个特征空间，要经过下面三个步骤

1.Theorems

①Vector Space over $R$
向量空间要符合下面八个条件：


②Reproducing Kernel Map

③$R^d\to R^{R^d}$向量空间的映射

下方的$f、g$是属于$F_k$中的函数

Example
上面的定义就是相当于所有实例$X$代入 Φ 之后的线性组合，这样的组合是无穷的，也即组成了$F_k$的集合


④Inner Production Space

现在证明$F_k$属于内积空间

Example

推论



证明$F_k$是内积空间过程





Kernel Function →Feature Mapping



⑤度量空间

⑥Cauchy Sequence in Metric Space
所有点都收敛在这个空间里面

⑦Hilbert Space

2.RKHS

再生核希尔伯特空间空间含义：由当前d维空间映射到希尔伯特空间，这个映射函数的内积就相当于核函数（再生核的含义），因此再生核希尔伯特空间只是满足这些条件，这里面的空间并不是点空间而是函数空间。

---

总结