机器学习背后的数学：希尔伯特空间

核理论（Kernel）在机器学习中是非常重要的一个概念，例如在SVM中，借助Kernel可以使得那些本来线性不可分的数据集在新空间中变得线性可分，此外，还有Kernel PCA等。而在学习与Kernel有关的一些知识或阅读文献时，难免会遇到希尔伯特空间这个数学名词。希尔伯特空间是泛函分析中的一个重要概念，以德国数学家大卫·希尔伯特的名字命名。希尔伯特空间，有着一些非常好的性质。本文将介绍与希尔伯特空间有关的知识。

 

希尔伯特空间

定义：在由内积所定义的范数意义下完备的内积空间称为希尔伯特（Hilbert）空间。
希尔伯特空间是一类性质非常好的线性赋范空间，在工程上有着非常广泛的应用，而且在希尔伯特空间中最佳逼近问题可以得到比较完满的解决。