信号处理与向量空间

信号处理与向量空间

向量表示信号

• 一个离散信号序列能够很自然的表示成向量：$x[n]=[x_0,x_1,\cdots ,x_{N-1}{]}^T$
• 为什么要用向量表示信号？因为更简单的数学表达和统一的信号处理框架
  1. 对不同类型的信号（四种：有限长、无限长、周期、有限支持）具有相同的处理框架
  2. 对连续信号具有相同的处理框架
  3. 更容易解释傅里叶变换
  4. 更容易解释采样与插值
  5. 在近似估计和压缩中非常有用
  6. 通讯系统设计中非常重要

向量空间

• 常见的向量空间。例如有${\mathbb{R}}^2$和${\mathbb{R}}^3$是二维和三维欧几里得空间
• $l_2(\mathbb{Z})$：具有无限长度且平方可和的序列所构成的空间。例如矩形序列
• $L_2([a,b])$：在区间$[a,b]$上平方可积的函数所构成的空间（没错，向量可以是函数）。例如 { x = sin ⁡ ( t ) , t ∈ [ − 1 , 1 ] } ∈ L 2 ( [ − 1 , 1 ] ) \{x=\sin(t), t\in [-1, 1]\}\in L_2([-1,1]) {x=sin(t),t∈[−1,1]}∈L2​([−1,1])，因为$\sin (t)$在$[-1,1]$上平方可积
• 向量空间的基本性质和操作
  

向量的内积

• 内积是一个标量，内积用于衡量向量之间的相似度
• 两个向量的内积操作可以表示为：$<\mathbf{x},\mathbf{y}>=\Vert \mathbf{x}\Vert \Vert \mathbf{y}\Vert \cos \theta$，其中$\theta$表示向量之间的夹角
• 如果两个向量的内积为0，那么它们正交（相似度为0，$\theta =\pi /2$）
• 向量内积的基本性质
  
• $L_2([-1,1])$的内积定义：$<\mathbf{x},\mathbf{y}>={\int }_{-1}^{1}x(t)y(t)\mathbf{d}t$。下图是一个例子
  
• 向量的长度用内积定义：$\Vert x\Vert =\sqrt{<\mathbf{x},\mathbf{x}>}$
• 向量之间的距离用内积定义：$\mathbf{d}(\mathbf{x},\mathbf{y})=\Vert \mathbf{x}-\mathbf{y}\Vert$。例如在二维空间中$\Vert \mathbf{x}-\mathbf{y}\Vert =\sqrt{(x_0-y_0{)}^2+(x_1-y_1{)}^2}$；在$L_2([-1,1])$上$\Vert \mathbf{x}-\mathbf{y}\Vert ={\int }_{-1}^1|x(t)-y(t){|}^2\mathbf{d}t$
• 一组信号可以表示成一个向量：$x[n]=[x_0,x_1,\cdots ,x_{N-1}{]}^T$，其中$x[n]$是一个复数，那么
  • 有限长度的信号的内积表示为：$<\mathbf{x},\mathbf{y}>={\sum }_{n=0}^{N-1}{x}^{\ast }[n]y[n]$，$\ast$表示共轭
  • 无限长度的信号的内积表示为：$<\mathbf{x},\mathbf{y}>={\sum }_{-\infty }^{\infty }{x}^{\ast }[n]y[n]$。其内积可能会无穷大，因此我们要求这个无限长度的信号属于$l_2(\mathbb{Z})$空间，即要求$\sum |x[n]{|}^2<\infty$

基向量

• 任意一个向量都通过线性组合基向量来得到。下图为二维空间的两个例子
  
  

• 基向量间要求线性无关，否则无法表示整个空间的向量

• 一组信号$x[n]=[x_0,x_1,\cdots ,x_{N-1}{]}^T$，可以看做一个N维的向量

• 一个无限长度的信号（向量）可以表示为：$\mathbf{x}={\sum }_{k=0}^{\infty }{\alpha }_k{w}^{(k)}$，其中${\alpha }_k$为缩放系数，$w^{(k)}$为基向量。

• 函数向量空间：$f(t)={\sum }_k{\alpha }_k{h}^{(k)}(t)$。其中$h^{(k)}(t)$是一个基函数，例如傅里叶变换的基函数：$1/\sqrt{2}$，$\cos \pi t$，$\sin \pi t$，$\cos 2\pi t$，$\sin 2\pi t$…也就是说傅里叶变换其实是一种基的变化

• 已知$\mathbf{x}$和$w^{(k)}$求${\alpha }_k$：${\alpha }_k=<w^{(k)},\mathbf{x}>$

• 如何换基？$\mathbf{x}={\sum }_{k=0}^{K-1}{\alpha }_k{w}^{(k)}={\sum }_{k=0}^{K-1}{\beta }_k{v}^{(k)}$，其中 v^{(k)是一组新的标准正交基，如何求${\beta }_k$？
  $$\begin{array}{lc}{\beta }_k& =<v^{(k)},\mathbf{x}>\\ & =<v^{(k)},{\sum }_{k=0}^{K-1}{\alpha }_k{w}^{(k)}>\\ & ={\sum }_{k=0}^{K-1}{\alpha }_k<v^{(k)},w^{(k)}>\end{array}$$

基于子空间的近似估计

• 向量子空间：2D平面是3D空间的一个子空间；偶函数是函数的子空间
• 用正交投影来做降维，将向量投影到子空间中，得到向量的近似估计
• 最小二乘估计：$s^{(k)}$是子空间S的一组标准基，那么向量$\mathbf{x}$正交投影的结果为
  $$\hat{\mathbf{x}}=\sum _{k=0}^{K-1}<s^{(k)},\mathbf{x}>s^{(k)}$$
• 正交投影的结果是“最好”的，因为：
  1. 具有全局最小误差：${\mathrm{argmin}}_{y\in S}\Vert \mathbf{x}-\mathbf{y}\Vert =\hat{\mathbf{x}}$
  2. 不包含任何误差信息：$<\mathbf{x}-\hat{\mathbf{x}},\hat{\mathbf{x}}>=0$

一个近似估计的例子：用多项式函数估计$\sin t$

多项式$P_N[-1,1]\in L_2[-1,1]$，一个多项式可以表示为：$p=a_0,+a_{1}t+\cdots +a_{N-1}{t}^{N-1}$

多项式的基：$s^{(k)}=t^k$。它不是标准正交的

现在有$x=\sin t\in L_2[-1,1]$ 用 $P_3[-1,1]$去估计它。

1. 建立标准化的基。利用Gram-Smith方法可以标准化一组基，Gram-Smith算法有两个步骤：
   step 1: $p^{(k)}=s^{(k)}-{\sum }_{}^{}<u^{(k)},s^{(k)}>u^{(k)}$，如果k=0，那么$p^{(0)}=s^{(0)}$
   step 2: $u^{(k)}=p^{(k)}/\Vert p^{(k)}\Vert$
   现在，我们对$1,t,t^2$三个基做标准化，其步骤如下
   
   这组基被称为“Legendre Polynomials”

2. 做正交投影，求系数。步骤如下：
   
   所以，在$P_3[-1,1]$上，$\sin t\approx {\alpha }_1{u}^{(1)}=0.9035t$

用泰勒展开估计的结果为：$\sin t\approx t$

两种估计的误差：

总结

• 信号序列可以很自然的用向量来表示；用向量表示信号，在信号处理上有很大的方便
• 向量的内积用来衡量向量之间的相似度
• 向量可以用基向量的线性组合表示
• 可以用子空间来对向量正交投影，对向量做近似估计