机器学习的数学基础（2）：赋范空间、内积空间、完备空间与希尔伯特空间

本系列为我硕士课程《机器学习数学原理》的课堂笔记总结，在本学期学习的过程中，网络中各前辈的博客以及文章对我的学习产生了许多积极的帮助，所以我也希望在结课之际，一来自己编辑博文总结笔记，二来为后续学习相关知识的同学提供一些参考，也算是一件有诸多意义的事情。

 上一篇文章已经介绍了线性空间的定义，本文将在其基础上介绍赋范线性空间以及内积空间的定义，上图为三个空间的相互包含关系。

赋范空间

范数：

范数指的是一种映射关系，是将空间中的元素映射为一个实数域的一种映射关系

并且该映射满足如下性质：

1. ，并且  （非负性）

2.   （三角不等式）

3.  对于任意a （齐次性）

范数的性质让一个空间具备了长度与距离的概念

我们将定义了范数的线性空间（即定义了长度与距离的线性空间）称之为赋范线性空间。

内积空间

内积：

为了简化我们只以实数域上的定义来讲

在空间S上的内积是一种映射：

并且遵循如下性质：

1. <x,y>=<y,x> 对称性

2. 对于任意的标量a，b，<ax+by,z>=a<x,z>+b<y,z> 线性

3.   当且仅当x为0时等号成立

内积空间则是被定义了内积运算的空间，而因为内积运算同样满足范数的定义，因此内积空间一定是赋范空间。

内积的性质让空间具备了角度的概念，当内积为0时，两个空间中的元素正交

希尔伯特空间

在说明希尔伯特空间之前我们一定要谈一谈完备性的概念

完备空间

这是我在这门课的学习过程中所遇到的第一个卡壳的地方，因为直接通过定义理解空间的完备性对我来说是一件困难的事情，因此整理时，我们不妨从源头入手，谈谈我们为什么要引入空间的完备性。

我们发现了一件事情，至少在我学习的时候，我把上述所提及的空间全部与欧拉空间作类比，赋范赋予了空间欧拉空间中距离的概念，内积则赋予了欧拉空间中垂直的概念，这种直观的转化是非常有用的。但是现在出现了一个问题，当空间的维数无限时，是否还同样可以等价的类比。

因此我们需要对空间加上一个性质：完备。

粗略但是直观的说，完备是指空间中没有任何遗漏的点。而想要理解没有遗漏的点这个概念，我们需要用到距离，一个空间需要定义距离，完备才变得有意义。从实数空间入手，我们说实数空间R是完备的，在实数空间中，距离的定义是两元素差的绝对值，可以想想看，任何一个点在与它距离趋近为0的地方都存在一个点并且这个点是在实数空间中的，因此我们说实数空间是完备的。以上是我们直觉上的判断，但是相信读到这里如何理解完备已经比较清晰了（至少我是这样理解的）。接下来我们需要用数学的语言来描述如何证明一个空间是完备的。

柯西序列

柯西序列是我们定义空间完备性的重要工具，柯西序列的定义如下：

对于一个序列，存在正整数N使得：，则我们说该序列为一个柯西序列。

完备空间的定义

当空间中所有的柯西序列均收敛时，该空间是完备的。

可以这样理解，所有的柯西序列都收敛了，意味着整个空间都是无孔的，这也就意味着空间是没有遗漏任何其他元素的，因此空间是完备的。

希尔伯特空间的定义

终于终于到了希尔伯特空间，有了上述铺垫，定义其实只有一句话：

完备的内积空间被称为希尔伯特空间