信号与系统的一些基本问题之信号分解完备正交基[1]—线性代数向量空间与向量基的基础

0. 小小说明

  由于一些前后概念是嵌套在一起，密切相关的，但是它们的认知深度的层次又有先后差异，所以为循序渐进，这里在讲解时会存在部分的后面的概念往前提以帮助当前概念的理解以确保大家每一步都能看得懂，并为后续概念作铺垫，文中所有存在这种概念嵌套的情况都有说明，只要大家认真看的话，绝对保证大家看得清楚明白。

1. 基本概念

1.1 矢量的图形化引入

  大家应该都知道矢量是可以分解的，而大家知不知道矢量分解的真实含义和思想出发点呢？首先我们从图形化的矢量入手。我们知道，一维矢量就是可以表示为某一点$A$到过该点的某一条直线上的任意点$B$的一条有向线段，图形化可以表示为一个有向线段$\mathbf{a}$

$$\text{图1 有向线段a}$$

  不难知道，对于直线$AB$上任意一条向量$\mathbf{\alpha }$，都可以通过对向量$\mathbf{a}$与一个数$\lambda$，即向量$\mathbf{a}$的数乘相乘得到，即$\mathbf{\alpha }=\lambda \mathbf{a}$。但是，当在直线外出现一点$C$，那么如果对于有向线段$\mathbf{b}=\overrightarrow{\mathbf{AC}}$，就发现力不从心了

$$\text{图2 有向线段a表示有向线段b}$$

可以发现，无论给向量$\mathbf{a}$进行任何数乘，都无法完全表示向量$\mathbf{b}$。那么怎么办呢？虽然大家都知道应该如何解决这个问题（就是找到另一条与$\mathbf{a}$不在同一直线上的向量对吧），但是先别急，因为这是为了更深层次理解向量空间与信号分解的原理，需要引入更深层次的内容，但是绝对讲得浅显易懂。为定量描述用向量$\mathbf{a}$表示$\mathbf{b}$的误差，这里引入一个误差向量$\mathbf{\epsilon }$

$$\text{图3 表示误差}$$

即令
$$\begin{array}{c}\mathbf{b}=\lambda \mathbf{a}+\mathbf{\epsilon }\end{array}$$
  那么如果要使得向量$\mathbf{a}$表示$\mathbf{b}$的误差最小，就要求$\left|\mathbf{\epsilon }\right|$最小，也即${\left|\mathbf{\epsilon }\right|}^2={\mathbf{\epsilon }}^2$最小。因此，我们得到了一个问题：找到一个$\lambda$，使得${\mathbf{\epsilon }}^2$最小，用数学语言可以表述该问题为
$$\begin{array}{c}\underset{\lambda }{\min }{\mathbf{\epsilon }}^2=\underset{\lambda }{\min }{\left(\mathbf{b}-\lambda \mathbf{a}\right)}^2\end{array}$$
  对于该问题，我们有两种求解思路：
方法1： 直接从图中分析，在给定了标准向量$\mathbf{a}$所在的直线和向量$\mathbf{b}$的大小和方向的情况下，要令误差$\left|\mathbf{\epsilon }\right|$最小，那么也就是当$\mathbf{\epsilon }\perp \mathbf{a}$时，才有$\left|\mathbf{\epsilon }\right|$最小，图示如下

$$\text{图4 表示误差最小情况}$$

那么根据直角三角形的三边关系，有
$$\begin{array}{c}\left|\lambda \mathbf{a}\right|=\lambda \left|\mathbf{a}\right|=\left|\mathbf{b}\right|\cos \theta \\ \downarrow \\ \lambda =\frac{|\mathbf{b}|\cos \theta }{|\mathbf{a}|}=\frac{|\mathbf{a}||\mathbf{b}|\cos \theta }{{|\mathbf{a}|}^2}=\frac{\mathbf{a}\cdot \mathbf{b}}{\mathbf{a}\cdot \mathbf{a}}\end{array}$$
方法2： 从数学严格推导的角度考虑，对于上述的式(2)中问题的表达式，不难发现该问题是一个关于$\lambda$的一元二次函数，并且平方项前的系数为正，那就表明该函数的最小值就是出现在使得倒数等于$0$的那一个极值点处，那么就将该式对$\lambda$求导，就可以得到
$$\begin{array}{c}\frac{d}{d\lambda }{\left(\mathbf{b}-\lambda \mathbf{a}\right)}^2=-2\mathbf{a}\left(\mathbf{b}-\lambda \mathbf{a}\right)=-2\mathbf{a}\mathbf{\epsilon }=0\end{array}$$
要令上面的等式成立，对于含有向量内积运算的左式，其结果又三种可能性：

1. $\mathbf{a}=0$，但显然标准向量不可能为零向量，不成立；
2. $\mathbf{b}-\lambda \mathbf{a}=\mathbf{\epsilon }=0$，则此时只有$\mathbf{b}$与$\mathbf{a}$时才成立，对于这里讨论的不在同一直线上的情况，这种情况也不成立；
3. $\mathbf{a}\perp \mathbf{\epsilon }$，因而这种情况与方法1所得到的关系一致，只有这种情况成立。

基于$\left|\mathbf{a}\right|\ne 0$的前提，按照一元一次方程的求解方法可以非常直接地求解出式(3)中的$\lambda$，可以得到
$$\begin{array}{c}\lambda =\frac{\mathbf{a}\cdot \mathbf{b}}{\mathbf{a}\cdot \mathbf{a}}\end{array}$$
可以看到该求解结果与方法1中的结果一致，同时注意这个结果是在上述可能性3成立而可能性1不可能成立的情况下才能得到的。

1.2 最佳系数（相似系数）

  从而对于式(3)和式(4)引入一个概念：对于两个已知方向和大小的向量${\mathbf{U}}_1$和$\mathbf{A}$，定义了一个该表示中的最佳系数$\lambda$（有些地方也称为两向量的相似系数）
$$\begin{array}{c}\lambda =\frac{\mathbf{A}\cdot {\mathbf{U}}_1}{{\mathbf{U}}_1\cdot {\mathbf{U}}_1}\end{array}$$
（另外，可能有些认真的盆友们还会发现为什么这里只是对两个向量进行比较，为什么向量${\mathbf{U}}_1$还要加一个下标1呢，这是为了兼容后续引入多个已知的向量基底${\mathbf{U}}_1,{\mathbf{U}}_2,\cdots ,{\mathbf{U}}_m$来表示一个一般向量$\mathbf{A}$时的表述方法，具体会到后面再阐述，这里只是先给大家做一个铺垫）
  特别地，$\lambda =0$时，就称两个向量是正交的，即$\mathbf{A}\perp {\mathbf{U}}_1$，相信这不难理解，同时这也是为之后对信号分解时的基底选择需要满足正交性的一个铺垫。（另外做一个对正交性的初步理解，就是向量与自身的内积非零，与同组其它向量的内积为零，先有印象，之后细说）

1.3 向量的维数

  向量的维数其实很简单，相信大家也都知道，这里就是简单提一下：向量的维数其实就可以理解为坐标轴的维数的拓展，即一维坐标轴上的一个坐标可以用一个数值（即标量）$x$来表示，这个数值同时表达了从原点到该点有向线段的长度大小和方向，该有向线段就对应了一个一维向量（一维向量就是一个数，即一个标量）；同理，平面坐标系下的二维坐标则也表达了原点到该点的向量，即二维向量，立体空间坐标系下的坐标也就表达了一个三维向量。之所以说向量的维数是坐标系维数的拓展，就是因为当维数$n>3$时，无法再用坐标轴表示，但可以用类似的思想理解$n>3$时的高维向量。

1.4 向量基的图形化初步理解

1.4.1 一维向量基

  如图1所示，当标准向量为$\mathbf{a}$，而当需要被表示的向量$\mathbf{b}$与$\mathbf{a}$共线（在直线$AB$上），则该向量可以被向量$\mathbf{a}$完全地无误差地表示（$\mathbf{\epsilon }=0$）
$$\begin{array}{c}\mathbf{b}=\lambda \mathbf{a}\end{array}$$
从而对于一条直线上的任意向量，可以使用该直线上的一个给定的非零向量$\mathbf{a}$唯一地完全无误差的表示，因而向量$\mathbf{a}$就是这条直线上的一个（组）1维向量基。这是满足了向量表示的

1. 唯一性： 这里根据1.3节中的一维向量描述，如果只考虑一条直线（数轴）上的向量，那么只需要知道将该向量的起始点平移到原点时其终点对应的值即可，即一个值即可确定。从而对于任意确定的向量$\mathbf{b}$，只需要用一个（相当于已知的）标量$x_b$即可确定，同样对于标准向量$\mathbf{a}$可以使用一个（已知的）标量$x_a$即可确定，从而要求式(6)中的$\lambda$（待求自变量），只需要求一元一次方程$x_b=x_a\lambda$就可以了。显然，解是唯一的；
2. 完备性： 完备性是指一组向量基必须满足的，即该组向量基必须能够完全无误差地描述对应维度的向量空间。另外，向量空间在本文第2节会进一步解释，且只需要大致理解概念即可，不用深究中的任意向量。
     首先我们知道非零向量$\mathbf{a}$与自身的内积一定非零，那么这里我们还可以这样理解：该向量组中只有$\mathbf{a}$一个向量，所以就认为$\mathbf{a}$与组中其它向量的内积就是$0$。

1.4.2 二维向量基

  进一步地，如上面图3所示，当只使用一个标准矢量$\mathbf{a}$，无法在无误差的情况下描述一个与其不在同一直线上的向量$\mathbf{b}$。将图3中的标准向量$\mathbf{a}$写为${\mathbf{U}}_1$，向量$\mathbf{b}$写为$\mathbf{A}$（按照1.2节中的表述方法），并再取一个已知标准向量${\mathbf{U}}_2$与${\mathbf{U}}_1$共同表示向量$\mathbf{A}$，数学表达为
$$\mathbf{A}={\lambda }_1{\mathbf{U}}_1+{\lambda }_2{\mathbf{U}}_2+\mathbf{\epsilon }$$

当${\mathbf{U}}_2$与${\mathbf{U}}_1$不共线并且$\mathbf{A}$在${\mathbf{U}}_1$与${\mathbf{U}}_2$所确定的平面上时（相交两直线确定一平面），可以根据平行四边形法则，有

$$\text{图5 不共线的}{\mathbf{U}}_1\text{和}{\mathbf{U}}_2\text{表示与之共面的向量A}$$

即$\mathbf{\epsilon }=0$，
$$\mathbf{A}={\lambda }_1{\mathbf{U}}_1+{\lambda }_2{\mathbf{U}}_2$$

表明不共线的两个向量${\mathbf{U}}_1$和${\mathbf{U}}_2$可以完全无误差地表达向量$\mathbf{A}$。前面对向量$\mathbf{A}$的限制只有在${\mathbf{U}}_1$与${\mathbf{U}}_2$所确定的平面上，所以不难理解两个不共线的向量可以表示这两个向量所在平面内的所有向量（严格证明可以通过建立直角坐标系，通过坐标运算证明，这里就不做多余推导了）。同时，根据1.1节的内容同理，当${\mathbf{U}}_1$与${\mathbf{U}}_2$不共线时，${\mathbf{U}}_1$和${\mathbf{U}}_2$之间无法无误差地互相单独表示出对方，这是从矢量图形的角度理解的线性无关的向量，即不共线的两个向量${\mathbf{U}}_1$和${\mathbf{U}}_2$是线性无关的。对于两个互为线性无关的向量，就是互相不能表示对方的两个向量（关于线性无关，后面会再次提到，这里先仅基于两个向量建立一个概念）。
  综上，给出**平面直角坐标系（2维向量空间）**下的一组概念：使用2个线性无关的向量可以无误差地表示出这2个向量所确定平面上的任意向量，并将这两个向量称为2维向量空间中的一组基底（也简称作基）。
  同样，要求得待定参数${\lambda }_1$和${\lambda }_2$，我们也可以根据类似1.3节中的二维向量的平面坐标系下的描述以及1.4.1节中的带入方法，令任意确定的平面向量$\mathbf{A}={\left[x_A,y_A\right]}^T$，以及平面内不在同一直线上的两个已知向量${\mathbf{U}}_1={\left[x_1,y_1\right]}^T,{\mathbf{U}}_2={\left[x_2,y_2\right]}^T$（这些都是已知参数），求解${\lambda }_1$和${\lambda }_2$
$$\left[\begin{array}{c}{x}_A\\ y_A\end{array}\right]=\left[\begin{array}{cc}{x}_1& x_2\\ y_1& y_2\end{array}\right]\left[\begin{array}{c}{\lambda }_1\\ {\lambda }_2\end{array}\right]$$

直接可以看到的是该矩阵方程的系数矩阵$\left[\begin{array}{cc}{x}_1& x_2\\ y_1& y_2\end{array}\right]$中由两个线性无关的二维向量组成，所以秩$r\left(\left[\begin{array}{cc}{x}_1& x_2\\ y_1& y_2\end{array}\right]\right)=n=2$，其增广矩阵$\left[\begin{array}{ccc}{x}_1& x_2& x_A\\ y_1& y_2& y_A\end{array}\right]$为$2\times 3$矩阵，且根据秩的性质，该增广矩阵的秩必定不小于其子矩阵的秩，即不小于2，所以该增广矩阵的秩$r\left(\left[\begin{array}{ccc}{x}_1& x_2& x_A\\ y_1& y_2& y_A\end{array}\right]\right)=2=r\left(\left[\begin{array}{cc}{x}_1& x_2\\ y_1& y_2\end{array}\right]\right)$，所以该矩阵方程有唯一解，即满足1.4.1节中描述的向量基的唯一性。（当然，如果觉得这种判断太过复杂，那么也可以用大家最喜欢的判断方法：二元一次方程组，两个方程两个未知数，且两个方程线性无关，有唯一解）
  再者，假设向量${\mathbf{U}}_1$和${\mathbf{U}}_2$为正交的，则${\mathbf{U}}_1{\mathbf{U}}_2=0$（对后面求偏导的计算意义重大），图示如下

$$\text{图6 正交的}{\mathbf{U}}_1\text{和}{\mathbf{U}}_2\text{表示与之共面的向量A}$$

同时由于证明上面证明了表示的唯一性，即表明只有一组${\lambda }_1$和${\lambda }_2$的取值使得误差绝对值取到最小值$0$，也是极小值点，所以这里采用类似1.1节中的办法，对函数${\mathbf{\epsilon }}^2={\left({\lambda }_1{\mathbf{U}}_1+{\lambda }_2{\mathbf{U}}_2-\mathbf{A}\right)}^2$，分别对${\lambda }_1$和${\lambda }_2$求偏导
$$\{\begin{array}{l}\frac{\partial }{\partial {\lambda }_1}{\left({\lambda }_1{\mathbf{U}}_1+{\lambda }_2{\mathbf{U}}_2-\mathbf{A}\right)}^2=2\left({\lambda }_1{\mathbf{U}}_1^2-{\mathbf{U}}_1\mathbf{A}\right)=0\\ \frac{\partial }{\partial {\lambda }_2}{\left({\lambda }_1{\mathbf{U}}_1+{\lambda }_2{\mathbf{U}}_2-\mathbf{A}\right)}^2=2\left({\lambda }_2{\mathbf{U}}_2^2-{\mathbf{U}}_2\mathbf{A}\right)=0\end{array}$$
从而有${\lambda }_1$和${\lambda }_2$的解
$${\lambda }_1=\frac{\mathbf{A}\cdot {\mathbf{U}}_1}{{\mathbf{U}}_1\cdot {\mathbf{U}}_1},{\lambda }_2=\frac{\mathbf{A}\cdot {\mathbf{U}}_2}{{\mathbf{U}}_2\cdot {\mathbf{U}}_2}$$
关于上面为什么要假设正交，还要通过求导来求解，相信有很多人有疑问，觉得直接求解前面的矩阵方程不也一样吗，弄这么麻烦不是没事找事吗？关于这个问题，在后面的内容中会马上进一步描述，到时候大家就很清楚了，这里只是对正交性的进一步的铺垫，大家先建立这个求解过程的思路就好。

1.4.3 三维向量基

  结论：一个三维的空间向量$\mathbf{A}$可以通过三个不在同一平面的向量${\mathbf{U}}_1,{\mathbf{U}}_2,{\mathbf{U}}_3$唯一地完全无误差地表示（$\mathbf{\epsilon }=0$）
$$\mathbf{A}={\lambda }_1{\mathbf{U}}_1+{\lambda }_2{\mathbf{U}}_2+{\lambda }_3{\mathbf{U}}_3$$
则${\mathbf{U}}_1,{\mathbf{U}}_2,{\mathbf{U}}_3$这一组向量线性无关（任何两个都无法完全表示出第三个），它们构成了一组3维向量基。当该组向量基中的向量互为正交向量时，对应的待定系数的解为
$${\lambda }_1=\frac{\mathbf{A}\cdot {\mathbf{U}}_1}{{\mathbf{U}}_1\cdot {\mathbf{U}}_1},{\lambda }_2=\frac{\mathbf{A}\cdot {\mathbf{U}}_2}{{\mathbf{U}}_2\cdot {\mathbf{U}}_2},{\lambda }_3=\frac{\mathbf{A}\cdot {\mathbf{U}}_3}{{\mathbf{U}}_3\cdot {\mathbf{U}}_3}$$

$$\text{（如果完全理解了三维向量基这一结论的盆友可以跳过本1.3.3节后续的推导，下面的推导原则与前面1.1节的推导的思路基本一致，不需要看的可以直接跳到第2节）}$$

  进一步地，若对于一个不在由向量${\mathbf{U}}_1$和${\mathbf{U}}_2$所确定的平面上的向量$\mathbf{A}$，并仍要使用${\mathbf{U}}_1$和${\mathbf{U}}_2$来表示
$$\mathbf{A}={\lambda }_1{\mathbf{U}}_1+{\lambda }_2{\mathbf{U}}_2+\mathbf{\epsilon }$$

图形化表示如下图

$$\text{图7 不共线的}{\mathbf{U}}_1\text{和}{\mathbf{U}}_2\text{表示不在该平面内的向量A}$$

不难看出不存在${\lambda }_1$和${\lambda }_2$使得在$\mathbf{\epsilon }\ne 0$的情况下使上面等式成立。因此，考虑继续增加一个标准向量${\mathbf{U}}_3$，通过3个标准向量来表示向量$\mathbf{A}$
$$\mathbf{A}={\lambda }_1{\mathbf{U}}_1+{\lambda }_2{\mathbf{U}}_2+{\lambda }_3{\mathbf{U}}_3+\mathbf{\epsilon }$$

当3个标准向量不在同一平面上时，

$$\text{图8 不共面的}{\mathbf{U}}_1\text{，}{\mathbf{U}}_2\text{和}{\mathbf{U}}_3\text{表示空间向量A}$$

关于这里表示的唯一性与完备性，有两种理解方式：
方式1： 根据1.3节中的空间坐标与三维向量之间的对应关系的表述，为探究是否存在${\lambda }_1,{\lambda }_2,{\lambda }_3$，使得在$\mathbf{\epsilon }=0$，类似1.4.1节和1.4.2节中的坐标假设，令向量$\mathbf{A}={\left[x_A,y_A,z_A\right]}^T,{\mathbf{U}}_1={\left[x_1,y_1,z_1\right]}^T,{\mathbf{U}}_2={\left[x_2,y_2,z_2\right]}^T,{\mathbf{U}}_3={\left[x_3,y_3,z_3\right]}^T$，可以列写方程
$$\left[\begin{array}{c}{x}_A\\ y_A\\ z_A\end{array}\right]=\left[\begin{array}{ccc}{x}_1& x_2& x_3\\ y_1& y_2& y_3\\ z_1& z_2& z_3\end{array}\right]\left[\begin{array}{c}{\lambda }_1\\ {\lambda }_2\\ {\lambda }_3\end{array}\right]$$

同样的道理，由于${\mathbf{U}}_1,{\mathbf{U}}_2,{\mathbf{U}}_3$中的任意一个向量均不在另外两个向量所确定的平面内，因而根据图6所示的结果，显然无法用其中的任意两个向量表示另一个向量，即3个向量为线性无关的，从而类似前述的矩阵的秩的判定方式可以得到该矩阵方程的系数矩阵的秩与增广矩阵的秩相等，且等于方程的个数（向量的维数）$n=3$，因而上述方程有唯一解，即同时验证了唯一性和完备性。
方式2： 从图形化的层面理解，先分析不在同一直线上的${\mathbf{U}}_1$和${\mathbf{U}}_2$这两个向量，可以分析得出这两个向量的任意不同数乘之和的结果可以唯一表示其所确定平面上的任意不同的向量，即这两个向量直接的数乘之和可以直接看成（或可以直接替换为）该平面中的一个向量${\mathbf{U}}_p={\lambda }_1^{{}^{\prime }}{\mathbf{U}}_1+{\lambda }_2^{{}^{\prime }}{\mathbf{U}}_2$，那么当${\mathbf{U}}_3$不在该平面上时，${\mathbf{U}}_p$和${\mathbf{U}}_3$可以确定新的平面，而由于${\mathbf{U}}_p$在${\mathbf{U}}_1$和${\mathbf{U}}_2$所确定的平面上的任意性，所以必然存在${\mathbf{U}}_p$使得${\mathbf{U}}_p$和${\mathbf{U}}_3$确定的新平面包含向量$\mathbf{A}$，那么再一次根据1.4.2节中的平面向量基的唯一性和完备性，此时${\mathbf{U}}_p$和${\mathbf{U}}_3$必然能唯一无误差地确定$\mathbf{A}$
$$\mathbf{A}={\lambda }_{\mathbf{p}}{\mathbf{U}}_{\mathbf{p}}+{\lambda }_3{\mathbf{U}}_3={\lambda }_1^{{}^{\prime }}{\lambda }_{\mathbf{p}}{\mathbf{U}}_1+{\lambda }_2^{{}^{\prime }}{\lambda }_{\mathbf{p}}{\mathbf{U}}_2+{\lambda }_3{\mathbf{U}}_3$$

则${\lambda }_1={\lambda }_1^{{}^{\prime }}{\lambda }_p,{\lambda }_2={\lambda }_2^{{}^{\prime }}{\lambda }_p$。
  再者，假设向量${\mathbf{U}}_1$，${\mathbf{U}}_2$和${\mathbf{U}}_3$为正交的，则${\mathbf{U}}_1{\mathbf{U}}_2={\mathbf{U}}_2{\mathbf{U}}_3={\mathbf{U}}_1{\mathbf{U}}_3=0$（对后面求偏导的计算意义重大），图示如下

$$\text{图9 正交的}{\mathbf{U}}_1\text{，}{\mathbf{U}}_2\text{和}{\mathbf{U}}_3\text{表示空间向量A}$$

同时由于证明上面证明了表示的唯一性，即表明只有一组${\lambda }_1,{\lambda }_2,{\lambda }_3$的取值使得误差绝对值取到最小值$0$，也是极小值点，所以这里采用类似1.1节中的办法，对函数${\mathbf{\epsilon }}^2={\left({\lambda }_1{\mathbf{U}}_1+{\lambda }_2{\mathbf{U}}_2+{\lambda }_3{\mathbf{U}}_3-\mathbf{A}\right)}^2$，分别对${\lambda }_1$和${\lambda }_2$求偏导
$$\{\begin{array}{l}\frac{\partial }{\partial {\lambda }_1}{\left({\lambda }_1{\mathbf{U}}_1+{\lambda }_2{\mathbf{U}}_2+{\lambda }_3{\mathbf{U}}_3-\mathbf{A}\right)}^2=2\left({\lambda }_1{\mathbf{U}}_1^2-{\mathbf{U}}_1\mathbf{A}\right)=0\\ \frac{\partial }{\partial {\lambda }_2}{\left({\lambda }_1{\mathbf{U}}_1+{\lambda }_2{\mathbf{U}}_2+{\lambda }_3{\mathbf{U}}_3-\mathbf{A}\right)}^2=2\left({\lambda }_2{\mathbf{U}}_2^2-{\mathbf{U}}_2\mathbf{A}\right)=0\\ \frac{\partial }{\partial {\lambda }_3}{\left({\lambda }_1{\mathbf{U}}_1+{\lambda }_2{\mathbf{U}}_2+{\lambda }_3{\mathbf{U}}_3-\mathbf{A}\right)}^2=2\left({\lambda }_3{\mathbf{U}}_3^2-{\mathbf{U}}_3\mathbf{A}\right)=0\end{array}$$
从而有${\lambda }_1$和${\lambda }_2$的解
$${\lambda }_1=\frac{\mathbf{A}\cdot {\mathbf{U}}_1}{{\mathbf{U}}_1\cdot {\mathbf{U}}_1},{\lambda }_2=\frac{\mathbf{A}\cdot {\mathbf{U}}_2}{{\mathbf{U}}_2\cdot {\mathbf{U}}_2},{\lambda }_3=\frac{\mathbf{A}\cdot {\mathbf{U}}_3}{{\mathbf{U}}_3\cdot {\mathbf{U}}_3}$$
关于正交性，在后面的内容中会进一步描述，这里还是对正交性的进一步的铺垫。

1.4.4 $n$维向量初步引入

  将1.3节中的坐标系与向量的对应进行拓展，可以定义一个$n$维向量$\mathbf{A}={\left[a_1,a_2,\cdots ,a_n\right]}^T$。

2. 向量空间与向量基

2.1 向量空间

官方定义： 设$V$为$n$维向量的集合，如果集合$V$非空，且集合$V$对于向量的加法及数乘两种运算封闭，那么就称集合$V$为向量空间。
数学表达： 若$\mathbf{a}\in V,\mathbf{b}\in V,\lambda \in R$，则$a+b\in V,\lambda \mathbf{a}\in V$。

2.2 线性无关

  对于一组含有$r$个$n$维向量${\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_r$的向量组，若找不到一组不是全零的参数${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_r$使得
$$\begin{array}{c}\sum _{j=1}^r{\lambda }_j{\mathbf{a}}_j=0\end{array}$$

或者也可以根据1.4.4节中的$n$维向量的表达方式，令${\mathbf{a}}_j={\left[a_{1j},a_{2j},\cdots ,a_{nj}\right]}^T$，列写齐次矩阵方程的表达形式
$$\begin{array}{c}\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1r}\\ a_{21}& a_{22}& \cdots & a_{2r}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nr}\end{array}\right]\left[\begin{array}{c}{\lambda }_1\\ {\lambda }_2\\ ⋮\\ {\lambda }_r\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ ⋮\\ 0\end{array}\right]\end{array}$$

则称这个向量组中的所有向量都是线性无关的。
  还有一种理解是，若对其中的任意一个向量${\mathbf{a}}_k$，都无法找到一组参数${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_{k-1},{\lambda }_{k+1},\cdots ,{\lambda }_r$使得其它$r-1$个向量能够线性表示该向量，即下式
$${\mathbf{a}}_k=\sum _{j=1,j\ne k}^r{\lambda }_j{\mathbf{a}}_j$$

对$\forall k\in \left[1,r\right]$都不成立，则也称这一个向量组中的向量线性无关。

2.3 向量基

官方定义： 设$V$为向量空间，若有$r$个向量${\mathbf{U}}_1,{\mathbf{U}}_2,\cdots ,{\mathbf{U}}_r$满足：

1. ${\mathbf{U}}_1,{\mathbf{U}}_2,\cdots ,{\mathbf{U}}_r$线性无关；
2. $V$中任一向量都可由${\mathbf{U}}_1,{\mathbf{U}}_2,\cdots ,{\mathbf{U}}_r$线性表示。

那么就称$V$是$r$维向量空间，向量组${\mathbf{U}}_1,{\mathbf{U}}_2,\cdots ,{\mathbf{U}}_r$为向量空间$V$的一个基。

2.4 矢量分解的正交性要求

  前面已经多次提到正交性的概念，从1,2,3维向量举例说明了正交性情况下时，求各个标准向量对应的待定参数的方法。可能有人认为直接求方程组就可以了，为什么非要按照求导的方式来做呢。事实上，如果对于一般的，不满足正交关系的一组向量基，如果使用这样的一组向量基表示一个该向量空间下的任意一个向量，确实是只能通过求方程组的方法来求得参数。但是大家可以想一想，上面给出的求解方程组的方法的例子是基于2维和3维向量空间的，假如维数$n=10,100,1000,10000$呢？首先$n$维向量空间的向量基中必须包含有$n$个线性无关的至少$n$维的向量（线性方程组求解的相关性质，这里不多做阐述，当然相信大家也能够理解），需要$n$个，那么对矩阵方程的求解
$$\begin{array}{c}\left[\begin{array}{cccc}{u}_{11}& u_{12}& \cdots & u_{1n}\\ u_{21}& u_{22}& \cdots & u_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ u_{n1}& u_{n2}& \cdots & u_{nn}\end{array}\right]\left[\begin{array}{c}{\lambda }_1\\ {\lambda }_2\\ ⋮\\ {\lambda }_n\end{array}\right]=\left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_n\end{array}\right]\to \left[\begin{array}{c}{\lambda }_1\\ {\lambda }_2\\ ⋮\\ {\lambda }_n\end{array}\right]={\left[\begin{array}{cccc}{u}_{11}& u_{12}& \cdots & u_{1n}\\ u_{21}& u_{22}& \cdots & u_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ u_{n1}& u_{n2}& \cdots & u_{nn}\end{array}\right]}^{-1}\left[\begin{array}{c}{a}_1\\ a_2\\ ⋮\\ a_n\end{array}\right]\end{array}$$

  但是大家想一想，如果在$n$非常大的时候，上式中的逆矩阵将如何求解？那将是一个非常困难的事情。而如果向量基中的所有向量都是正交的，即${\mathbf{U}}_i{\mathbf{U}}_j=0,i\ne j$且${\mathbf{U}}_i{\mathbf{U}}_i\ne 0,i=1,2,\cdots ,n$，那么参照前面的求解思路，对待定参数的求解可以写为
$$\begin{array}{c}\{\begin{array}{c}\frac{\partial }{\partial {\lambda }_1}{\left(\sum _{j=1}^n{\lambda }_j{\mathbf{U}}_j-\mathbf{A}\right)}^2=2\left({\lambda }_1{\mathbf{U}}_1^2-{\mathbf{U}}_1\mathbf{A}\right)=0\\ \frac{\partial }{\partial {\lambda }_2}{\left(\sum _{j=1}^n{\lambda }_j{\mathbf{U}}_j-\mathbf{A}\right)}^2=2\left({\lambda }_2{\mathbf{U}}_2^2-{\mathbf{U}}_2\mathbf{A}\right)=0\\ ⋮\\ \frac{\partial }{\partial {\lambda }_n}{\left(\sum _{j=1}^n{\lambda }_j{\mathbf{U}}_j-\mathbf{A}\right)}^2=2\left({\lambda }_n{\mathbf{U}}_n^2-{\mathbf{U}}_n\mathbf{A}\right)=0\end{array}\to {\lambda }_j=\frac{\mathbf{A}\cdot {\mathbf{U}}_j}{{\mathbf{U}}_j\cdot {\mathbf{U}}_j},j=1,2,\cdots ,n\end{array}$$

很多时候在问题中遇到的向量（在信号处理中对应信号的函数表达式）问题都是高维，甚至是无限维度的，所以如果在选择的向量基不满足正交性，那么求解问题将变得非常复杂，而如果将向量基限定为正交基，那么参数的求解的结果将变得非常容易。因此，通常在分析问题时，都选择正交向量基作为分解标准。

2.5 单位正交基

  为进一步简化计算，可以将使用单位长度的向量基对矢量进行分解分析，这样最终求得的每一个参数的值就直接表示了该矢量在该标准向量的方向上的分量大小。因此，通常使用单位正交基可以最大程度上简化计算，并且使求解的结果的数学和物理意义更加显著。

2.6 向量基的要求

  综上所述，通常在使用向量基时，向量基需要满足的性质条件包括：

1. 完备性（包含唯一性）；
2. 正交性（${\mathbf{U}}_i{\mathbf{U}}_j=0,i\ne j$且${\mathbf{U}}_i{\mathbf{U}}_i\ne 0,i=1,2,\cdots ,n$）；
3. 单位化（${\mathbf{U}}_i{\mathbf{U}}_i=1,i=1,2,\cdots ,n$）。

例如：单位矩阵${\mathbf{E}}_{n\times n}$中的所有列向量所构成的向量组就是一组$n$维向量空间的单位正交向量基。

3.结语

  以上就是本文从向量层面阐述的向量分解与向量基的基本问题，这是作为后续将向量引申为函数，以进一步解释信号分解的基底。

4. 参考资料

1. 管致中, 夏恭恪, 孟桥. 信号与线性系统.上册[M]. 第6版. 北京: 高等教育出版社, 2015: 83-85.
2. 同济大学. 工程数学与线性代数[M]. 第六版. 北京: 高等教育出版社, 2014: 104-119.
3. 东南大学的《信号与线性系统》网课（孟桥老师yyds，b站和慕课上都有，本文对应的是该套视频的第三章的第一个视频《矢量的正交分解》）