机器学习的数学基础（4）：正交基与帕斯瓦尔定理

最新推荐文章于 2024-08-11 22:41:07 发布

面对疾风的小龙

最新推荐文章于 2024-08-11 22:41:07 发布

阅读量1.6k

点赞数 2

分类专栏：机器学习的数学基础文章标签：机器学习线性代数人工智能

本文链接：https://blog.csdn.net/weixin_43014877/article/details/121852190

版权

机器学习的数学基础专栏收录该内容

7 篇文章 7 订阅

订阅专栏

本文深入探讨了正交基的概念，特别是在希尔伯特空间中的应用。通过标准正交基，解析了如何找到一个点在子空间上的最近距离表示，并联系到高中几何中的投影原理。帕斯瓦尔定理作为关键，揭示了希尔伯特空间与欧几里得空间之间的内在联系，确保了信号在频域和时域间的能量守恒。这一理论在傅里叶级数和信号处理中起着核心作用，提供了衡量误差和函数表示的新视角。

摘要由CSDN通过智能技术生成

这节课的学习是非常令人振奋的，工程中的知识突然被数学更本质地解释是一件非常令人振奋的事情。以前在学习信号与系统时曾经学过帕斯瓦尔定理，在当时的表述是一个信号频域与时域的能量被证明是相同的。而如今在这门偏数学的课程中，终于接触到了其真正的数学本质。

正交基

定义：

满足如下条件的基底，我们称之为S的正交基：
1. $span(v_1,v_2,...v_N)=S$

2. 基底中所有向量两两互相正交，即对于任意的j和k且两者不相等， $\left \langle v_j,v_k \right \rangle=0$

此外如果再多一个条件： $\forall n \quad \left \| v_n \right \|=1$

我们则称其为标准正交基

接着上文的问题：

令S为一个希尔伯特空间，而 $\tau$ 空间S的一个子空间，当我们给定了 $x\in S$ ，如何求最近 $\tau$ 上距离x最近的点。 $\min \left \| x-y \right \|\quad y\in \tau$

机器学习的数学基础（3）：正交性原理（orthogonality principle）_李小札的博客-CSDN博客_正交性定理

假如说基底变为了标准正交基，那么该问题的解会变为什么形式呢：

因为 $\left \langle v_n,v_k \right \rangle=1$ 当n=k时，其余时候均为0，所以此时的gram矩阵G则简化为了单位矩阵I

那么系数a的表达式如下：

$a=Ib=b=\begin{bmatrix} \left \langle x,v_1 \right \rangle\\ \left \langle x,v_2 \right \rangle\\\ ...\\ \left \langle x,v_n \right \rangle\ \end{bmatrix}$

因此最终的解 $\hat{x}$ 则可以表达为：

$\hat{x}=\sum_{n=1}^{N}\left \langle x,v_n \right \rangle v_n$

其实这个结论用我们高中所学的几何知识就很好理解，当基底都正交的时候，投影就完事了，如何投影，投影的系数是多少，那就是求内积嘛，只不过注意这里的内积一定是定义在空间S中的。

学习到这里，我其实才真正明白所谓求解最近点问题的含义，其真正的作用不是要求解空间中距离某个点最近的点，而是给出了将空间中任意函数表示成基底的方法，很显然，当距离为0时，两者就相等了即 $x=\hat{x}$ ，或者说 $f=\hat{f}$ 。距离为0两者相等的条件是，x需要在基底所张成的空间中。而什么时候一组基底可以覆盖整个希尔伯特空间呢，答案自然是在基底的维数趋于无穷时。

所以到这里一切就豁然开朗了，我们想想看高数中所学的傅里叶级数，它的本质不就是一组无穷的维数的基底，从而可以表示任何空间中的函数吗。

帕斯瓦尔定理

帕斯瓦尔定理揭示了，当希尔伯特空间引入了一组正交基之后，希尔伯特空间可以对应到欧拉空间中，定理表示如下：

S是一个希尔伯特空间，其中 $\left \{ v_k \right \}$ 是S的标准正交基， $x,y\in S$ , $a,b$ 是x，y在基底下对应的系数，则有：

$\left \langle x,y \right \rangle_S=\left \| \left \langle a,b \right \rangle \right \|_{l_{2}}$ 并且变形得 $\left \| x \right \|_{S}^{2}=\left \| a \right \|_{2}^{2}$

我们可以看到，定理使得空间S中得元素可以继承欧式空间中所有的几何性质。

证明如下：

这就有了上面我说过的令人振奋的问题，帕斯瓦尔定理的本质是两个空间中内积的转换，对应到信号与系统中，信号的时域到频域遵循的即是正交变换，将时域中的函数通过正交变换变换至了频域。因此时域与频域之间也一定遵循着帕斯瓦尔定理，而时域与频域对于能量的定义又恰恰是两个空间内积的定义，故时域与频域的信号能量相等。

这个定理同样给我们提供了一种衡量误差非常有利的公式，因为希尔伯特空间中两个函数的误差可以被直接映射到欧式空间中来。当S空间中误差为e时，对应在欧式空间中，误差仍为e。