数字信号处理（1）：先修知识

1. 函数的正交性

   • 矢量分解：
     如果我们有一个二维的矢量$\vec{a} = \{ x_1 , y_2 \}$ ,如何将其用一个矢量$\vec{e}$近似的表示 ， 也即将$\vec{a}$ 表示为如下形式：
     $$\vec{a} \approx \lambda \vec{e}$$
     设$\theta$为$\vec{a}$与$\vec{e}$的夹角，如下图所示：
     
     
     

   其中红色虚线代表近似矢量与实际矢量之间的差距,可以看出,当矢量垂直投影时误差最小，所以将$\lambda$ 表示如下
   

   $$\lambda = \frac{<\vec{a},\vec{e}>}{<\vec{e},\vec{e}>} \qquad (1)$$

   其中 <⋅,⋅> <script type="math/tex" id="MathJax-Element-438"><\cdot ,\cdot></script> 为两矢量的内积

   由上式能看出，$\vec{a}$ 在$\vec{e}$ 上有分量，分量的大小即为$\lambda \vec{e}$。当$\theta=90^{\circ}$ 时，$\vec{a}$在 $\vec{e}$ 上没有分量，两向量正交。基于此，在二维空间中我们可以将$\vec{a}$ 分解到两个正交的矢量上。这种矢量分解法可以推广到n维空间中。

   • 函数分解：

   首先假设有两个高维的矢量求解内积，$\vec{a}=\{x_0,x_1,x_2,\cdots,x_n \}$ ,$\vec{b}=\{y_0,y_1,y_2,\cdots,y_n \}$ ,则
   

   <a⃗ ,b⃗ >=∑i=0nxiyi
   <script type="math/tex; mode=display" id="MathJax-Element-448"><\vec{a},\vec{b}>= \sum_{ i=0 }^{n}x_i y_i </script>
   设$\vec{a},\vec{b}$ 分别为函数$f(t),g(t)$ 自变量取$0,1,2,\cdots,n$时的函数值，则 <a⃗ ,b⃗ > <script type="math/tex" id="MathJax-Element-452"><\vec{a},\vec{b}></script>可以用$f(t)g(t)$ 在$0\sim n$ 上当自变量的间隔取1时候的数值积分表示。
   因此，通过直观的分析，我们可以猜想两函数的内积可以用他们的乘积在对应区间的积分表示。下面给出数学分析。

   类似上述矢量内积分析，假设有一函数$f(t)$ ，要在区间$t_1<t<t_2$ 上用$g(t)$ 近似表示，即表示为$f(t) \approx \lambda g(t)$。 即容易想到，$\lambda$ 最合适的取值必须是使得实际函数与近似函数之间的“距离”最小。这里的距离采用方均误差$\overline {\epsilon^{2}}$来表示:
   

   $$\overline{\epsilon^{2}}=\frac{\int _{t_{1}} ^{t_{2}} [f(t)-\lambda g(t)]dt}{t_{2}-t_{1}}$$

   $\overline {\epsilon^{2}}$ 取得极小值时，$\frac{d\overline {\epsilon^{2}}}{dt}=0$ ，解得$\lambda$ 为：
   

   $$\lambda =\frac{\int _{t_1}^{t_2}f(t)g(t)dt}{\int _{t_1}^{t_2}g(t)^{2}dt}\qquad (2)$$

   观察（2）式，可以发现其与（1）式具有相同的形式。从中可以看出，$g(t)$中存在有$f(t)$的分量，分量的大小即为$\lambda g(t)$。而当$\int_{t_1}^{t_2}f(t)g(t)dt=0$时，也即$g(t)$中不存在$f(t)$的分量，这时我们称$f(t)$与$g(t)$正交。

   将$f(t),g(t)$在$t_1\sim t_2$上的内积定义如下：
   

   <f(t),g(t)>=∫t2t1f(t)g(t)dt
   <script type="math/tex; mode=display" id="MathJax-Element-476"> =\int_{t_1}^{t_2}f(t)g(t)dt</script>

2. 关于复线性空间

   以上讨论的都是实数情形，下面讨论复数空间的内积。

   • 线性空间内积的性质

     在介绍复数空间的计算公式之前，先介绍线性空间内积的性质。

     共扼对称性： <x⃗ ,y⃗ >=<y⃗ ,x⃗ >∗ <script type="math/tex" id="MathJax-Element-477"><\vec{x},\vec{y}>=<\vec{y},\vec{x}>^{*}</script>
     线性 ： <αx⃗ +βy⃗ ,z⃗ >=α<x⃗ ,z⃗ >+β<y⃗ ,z⃗ > <script type="math/tex" id="MathJax-Element-478"><\alpha \vec{x}+\beta \vec{y},\vec{z}>=\alpha <\vec{x},\vec{z}>+\beta <\vec{y},\vec{z}></script>
     正定性 ： <x⃗ ,x⃗ >≥0 <script type="math/tex" id="MathJax-Element-479"><\vec{x},\vec{x}>\ge 0</script>

   • 复线性空间的内积公式

     设$\vec{x},\vec{y}$为两个n维复向量,$x_i,y_i$为其中的第i个元素 ，其内积定义为：
     

     <x⃗ ,y⃗ >=∑i=1nxiy∗i(4)
     <script type="math/tex; mode=display" id="MathJax-Element-482"><\vec{x},\vec{y}>=\sum _{i=1}^{n}x_i y_{i}^{*}\qquad (4)</script>

     可以看出，复线性空间的内积与实线性空间的稍有区别，但是二者都必须满足上面所述线性空间的三条基本性质。简单的说，可以将实线性空间看成复线性空间的一种特例。

     类比(3) (4)，我们可以直接给出复变函数内积的表达式:
     

     <f(t),g(t)>=∫t2t1f(t)g(t)∗dt(5)
     <script type="math/tex; mode=display" id="MathJax-Element-483"> =\int _{t_1}^{t_2}f(t)g(t)^{*}dt \qquad (5)</script>
     同样的，我们可以将公式（2）推广到复变函数的情形：
     $$\lambda=\frac{\int_{t_1}^{t_2}f(t)g(t)^*dt}{\int_{t_1}^{t_2}g(t)g(t)^*dt}\qquad (6)$$

3. 正交函数集
   假设有n个函数，$f_1(t),f_2(t),\cdots,f_n(t)$构成一个函数集合，在特定区间$(t_1,t_2)$上，任意两个函数之间两两正交，任意一个函数与自己的内积为一个常数。数学语言表达为：
   

   $$\int _{t_1}^{t_2}f_i(t)f_j(t)^*dt=0\quad (i\neq j)$$
   $$\int _{t_1}^{t_2}{f_i(t)f_i(t)^*}dt=K_i\quad (i=j)$$

   则我们称这样的一个集合为正交函数集