Hilbert Space

统计专题的一些感想

束磊 SA18017008

这学期修了赵老师的统计专题课程，老先生给我们介绍了很多统计方面的前沿专题知识，个人对其中的希尔伯特空间的一些概念和运用比较感兴趣，重新回顾笔记并查阅了一些资料后，写下这篇关于再生核希尔伯特空间的感想。由于是初次接触再生核希尔伯特空间，所以有些方面写的可能有错误，还望老师指正。

1. 希尔伯特空间

在介绍再生核希尔伯特空间之前，我们需要了解内积空间以及希尔伯特空间的概念。

1.1 内积和内积空间

首先，我们需要掌握内积以及内积空间的概念。其相关的定义如下：
设$\Lambda$是实数域或复数域，$H$是$\Lambda$上的线性空间，如果对于$H$中任两个向量$x$和$y$，都对应着一个数$(x,y)\in \Lambda$，满足条件：

• 共轭对称性：对$\forall x,y\in H$，$(x,y)=(y,x)$
• 对第一个变元的线性性：$\forall x,y,z\in H$，以及任两个数$\alpha ,\beta \in \Lambda$，有$(\alpha x+\beta y,z)=\alpha (x,z)+\beta (y,z)$
• 对第二个变元的线性性：$\forall x,y,z\in H$，以及任两个数$\alpha ,\beta \in \Lambda$，有$(z,\alpha x+\beta y)=\alpha (z,x)+\beta (z,y)$
• 正定性：对$\forall x\in H$，$(x,x)\ge 0$，且 $(x,x)=0$ 当且仅当$x=0$。
  如果符合上述的正定性条件，我们就说内积是严格的。
  则$(\cdot ,\cdot )$称为$H$中的内积。如果$H$上定义了内积，当$\Lambda$为实（复）数域时，则称$H$为实（复）内积空间。
  以上就是关于内积和内积空间的定义，下面我们讲引入希尔伯特空间的定义。

1.2 希尔伯特空间

关于希尔伯特空间的定义是建立在内积空间上面的，我们有如下定义：
希尔伯特空间是一个严格的内积空间，它必须同时满足完备性和可分性，它最早是希尔伯特在对积分方程的研究中提出的。这里的完备性是指，空间中的柯西列都收敛在空间内；可分性是指，空间中存在可数的稠密子集。
希尔伯特空间有许多与欧几里德空间相似的性质，例如，在希尔伯特空间中，可以定义向量正交、正交和、正交投影的概念，柯西一许瓦兹不等式成立、勾股定理和投影定理成立。

2. 核方法理论

2.1 非线性特征映射

随着人们对数据的研究从线性关系转移到非线性关系，模式识别分析方法也从最初的统 计识别方法到决策树等方法再转变到核方法。核方法的主要策略是通过某种分析方法把非线性的原始数据嵌入到可以呈现线性关系的空间中进行线性分析，如下图所示，函数$\phi$是映射的桥梁。

为了实现这样的特征映射，首先我们能想到的便是寻找符合条件的映射函数$\phi$，但是通过解方程等传统方法计算代价大且出错率高。事实上我们发现，我们的最终目的并不是为了得到函数$\phi$的显式表达式，我们需要的所有信息都位于特征空间的数据点 ⟨ φ ( x ) , φ ( y ) ⟩ \langle \varphi (x) , \varphi (y) \rangle