【时频分析 01】短时傅里叶变换

时频分析（Time-Frequency Analysis）

我们对于一个正常的信号$X(t)$，都希望从时域和频域两个角度进行认识。

我们的采样通常是在时域上，而频域上的表达就是所谓的傅里叶变换：
$$\hat{X}(w)={\int }_{-\infty }^{+\infty }X(t)\exp (-jwt)dt$$
傅里叶变换的结果可以让我们了解这个信号在各个频点上的分量的情况，或者说各个频点上的信号强度。从而我们就把握住了信号的震荡特性（周期+震荡幅度），这对于我们开展后续的分析非常的关键和有利。

• 现在的问题在于我们了解震荡特性所需要付出的代价是什么？

——我们为了得到某单个频点 $w$ 的信息，所付出的代价是需要在 $(-\infty ,+\infty )$ 整条时间轴上对我们的信号$X(t)$进行采样和积分。

用整条时间轴的采样积分来换取某一个频点上的信息，这样的代价，我们有些付不起。且不说有限区间采样只是对无穷区间上积分的一种近似逼近。更何况这需要在信号平稳（stationary） 的前提条件下才能进行，对于非平稳，即时变（time-varying） 的情况下就不适用了，也就是说信号在某一个频点上的特性随时间本身的变化而发生变化，那么我们做长时间积累的意义立刻就消失殆尽了。

平稳：研究对象的某种性质随时间发展变化的一种不变性。

• 时变情况下，我们需要新的分析工具来帮助我们信号处理。

傅里叶变换

傅里叶变换有三个重要特性：

1. 傅里叶变换对：一个信号和该信号的傅里叶变换之间一一对应。

$$\{\begin{array}{l}\hat{X}(w)={\int }_{-\infty }^{+\infty }X(t)\exp (-jwt)dt\\ X(t)=\frac{1}{2\pi }{\int }_{-\infty }^{+\infty }\hat{X}(w)\exp (jwt)dw\end{array}$$

2. Parseval Relation：时域和频域之间的变换是个酉变换（Unitary），换句话说是正交的。举个例子：两个信号$f$ 和 $g$，它们在时域上做内积和在频域上做内积结果只相差一个常数，只有正交旋转才做得到这一点。这样的变换是“保能量”的。

$$<f,g>=\frac{1}{2\pi }<\hat{f},\hat{g}>$$

证明：
$$\begin{gathered} \hat{f}(w)={\int }_{-\infty }^{+\infty }f(t)\exp (-jwt)dt \\ \hat{g}(w)={\int }_{-\infty }^{+\infty }g(t)\exp (-jwt)dt \\ \{\begin{array}{l}<\hat{f},\hat{g}>={\int }_{-\infty }^{+\infty }\hat{f}(w)\overline{\hat{g}(w)}dw\\ ={\int }_{-\infty }^{+\infty }\left({\int }_{-\infty }^{+\infty }f(t)\exp (-jwt)dt\right)\overline{\left({\int }_{-\infty }^{+\infty }g(s)\exp (-jws)ds\right)}dw\\ \stackrel{\text{化为三重积分}}{=}{\int }_{{\mathbb{R}}^3}f(t)\overline{g(s)}\exp (-jwt)\exp (jws)dtdsdw\\ \stackrel{\text{先对w积分}}{=}2\pi {\int }_{{\mathbb{R}}^2}f(t)\overline{g(s)}\left(\frac{1}{2\pi }{\int }_{\mathbb{R}}1\times \exp (jw(s-t))dw\right)dtds\\ \stackrel{\text{1的反傅里叶变换}}{=}2\pi {\int }_{{\mathbb{R}}^2}f(t)\overline{g(s)}\delta (s-t)dtds\\ \stackrel{\text{在t=s这条线上积分}}{=}2\pi \delta (0){\int }_{-\infty }^{+\infty }f(t)\overline{g(t)}dt=2\pi \delta (0)<f,g>\stackrel{某种神秘力量}{=}2\pi <f,g>\end{array} \end{gathered}$$

$1$和 $\delta (t)$互为傅里叶变换对：
$$\{\begin{array}{l}1(频域)={\int }_{\mathbb{R}}\delta (t)\exp (-jwt)dt={\int }_{\mathbb{R}}\delta (t)\exp (jwt)dt\\ \stackrel{\text{符号形式不变性}}{⟹}\frac{1}{2\pi }{\int }_{\mathbb{R}}\delta (w)\exp (jwt)dw=\frac{1}{2\pi }\cdot 1(\text{时域})\\ \delta (t)=\frac{1}{2\pi }{\int }_{\mathbb{R}}1\exp (jwt)dw\\ \delta (w)={\int }_{\mathbb{R}}\frac{1}{2\pi }\exp (-jwt)dt\end{array}$$
其中，$\delta$ 函数有如下性质：
$$\delta (x)=0,(x\ne 0),{\int }_R\delta (x)dx=1$$
常用于物理学中质点、点电荷、瞬时力等抽象模型

3. 泊松求和公式

$$\begin{gathered} g(t)=\sum _{k=-\infty }^{+\infty }X(t+kT),\text{ Periodic. T. }g(t)=g(t+T)\Rightarrow \text{Fourier Series} \\ g(t)=\sum _k{\alpha }_k\exp (j\frac{2k\pi }{T}t)=? \\ {\alpha }_k=\frac{1}{T}{\int }_0^{T}g(t)\exp (-j\frac{2k\pi }{T}t)dt \\ =\frac{1}{T}{\int }_0^T\left(\sum _{n=-\infty }^{+\infty }X(t+nT)\right)\exp (-j\frac{2k\pi }{T}t)dt \\ =\frac{1}{T}\sum _{n=-\infty }^{+\infty }{\int }_0^{T}X(t+nT)\exp (-j\frac{2k\pi }{T}t)dt \\ \stackrel{t^{\prime }=t+nT}{=}\frac{1}{T}\sum _{n=-\infty }^{+\infty }{\int }_{nT}^{(n+1)T}X(t^{\prime })\exp (-j\frac{2k\pi }{T}(t^{\prime }-nT))d{t}^{\prime } \\ =\frac{1}{T}\sum _{n=-\infty }^{+\infty }{\int }_{nT}^{(n+1)T}X(t^{\prime })\exp (-j\frac{2k\pi }{T}(t^{\prime }))d{t}^{\prime } \\ =\frac{1}{T}{\int }_{-\infty }^{+\infty }X(t^{\prime })\exp (-j\frac{2k\pi }{T}(t^{\prime }))d{t}^{\prime } \\ =\frac{1}{T}\hat{X}(\frac{2k\pi }{T}) \\ g(t)=\sum _k{\alpha }_k\exp (j\frac{2k\pi }{T}t)=\frac{1}{T}\sum _k\hat{X}(\frac{2k\pi }{T})\exp (j\frac{2k\pi }{T}t) \end{gathered}$$

举个例子：假设 $y(t)$ 是一个连续函数，采样 { y ( k ) } \{y(k)\} {y(k)} 可以看作某种特殊的连续函数表达：
{ y ( k ) } = y ( t ) ∑ k δ ( t + k ) \{y(k)\}=y(t)\sum_k \delta(t+k) {y(k)}=y(t)k∑​δ(t+k)
在此基础上，使用泊松求和，我们就可以作离散函数的傅里叶变换，即频谱搬移：
$$\begin{gathered} {\left(y(t)\cdot \sum _k\delta (t+k)\right)}^{\wedge }\underset{\ast :\text{ 卷积}}{\overset{\wedge :\text{ 傅里叶变换}}{=}}\hat{y}(w)\ast {\left(\sum _k\delta (t+k)\right)}^{\wedge } \\ \stackrel{泊松求和}{=}\hat{y}(w)\ast {\left(\sum _{k}1\cdot \exp (j2k\pi t)\right)}^{\wedge } \\ {\int }_{-\infty }^{+\infty }\exp (j2k\pi t)\exp (-jwt)dt={\int }_{-\infty }^{+\infty }\exp (-jt(w-2k\pi ))dt=2\pi \delta (w-2k\pi ) \\ \Rightarrow {\left(y(t)\cdot \sum _k\delta (t+k)\right)}^{\wedge }=\hat{y}(w)\ast \left(2\pi \sum _k\delta (w-2k\pi )\right) \\ f(w)\ast \delta (w-w_0)={\int }_{-\infty }^{+\infty }f(w-w^{\prime })\delta (w^{\prime }-w_0)d{w}^{\prime }=f(w-w_0) \\ \Rightarrow {\left(y(t)\cdot \sum _k\delta (t+k)\right)}^{\wedge }=2\pi \sum _k\hat{y}(w-2k\pi ) \end{gathered}$$

$$\begin{gathered} f(t)\ast h(t)={\int }_{-\infty }^{+\infty }f(\tau )h(t-\tau )d\tau \\ f(w)\ast \delta (w-w_0)={\int }_{-\infty }^{+\infty }f(u)\delta (w-w_o-u)du \\ \stackrel{w^{\prime }=w-u}{=}{\int }_{-\infty }^{+\infty }f(w-w^{\prime })\delta (w^{\prime }-w_o)d{w}^{\prime } \end{gathered}$$

在泛函分析中，卷积、旋积或褶积(英语：Convolution)是通过两个函数f和g生成第三个函数的一种数学运算，其本质是一种特殊的积分变换，表征函数f与g经过翻转和平移的重叠部分函数值乘积对重叠长度的积分。

短时傅里叶变换

引入两个符号：$T,M$
$$\begin{gathered} \text{Notation: }T,M \\ {T}_x(f(t))=f(t-x),\text{做一个时间平移} \\ {M}_w(f(t))=\exp (jwt)f(t),\text{做一个频率上的平移} \end{gathered}$$
$T,M$不可交换：
$$\begin{gathered} T_x{M}_w(f(t))=f(t-x)\exp (jw(t-x)) \\ {M}_w{T}_x(f(t))=f(t-x)\exp (jwt) \end{gathered}$$
再做傅里叶变换：
$$\begin{gathered} {\left(T_x{M}_w(f(t))\right)}^{\wedge }={\int }_{-\infty }^{+\infty }f(t-x)\exp (jw(t-x))\exp (-j{w}^{\prime }t)dt \\ \stackrel{t^{\prime }=t-x}{=}{\int }_{-\infty }^{+\infty }f(t^{\prime })\exp (jw{t}^{\prime })\exp (-j{w}^{\prime }(t^{\prime }+x))dt \\ =\left({\int }_{-\infty }^{+\infty }f(t^{\prime })\exp (-j{t}^{\prime }(w^{\prime }-w)dt\right)\exp (-j{w}^{\prime }x) \\ =\hat{f}(w^{\prime }-w)\exp (-j{w}^{\prime }x)=M_{-x}{T}_w(\hat{f}(w^{\prime })) \end{gathered}$$

• 下面引入第一个时频分析工具：一阶的（One Order），短时傅里叶变换（Short-Time FT）

为了体现频谱随时间变化而发生变化的现象，同时保留傅里叶变换的形式，我们可以引入时间局部化因子（Time Localization）：$g(t^{\prime }-t)$
$$V_{g}f(t,w)={\int }_{-\infty }^{+\infty }f(t^{\prime })\overline{g(t^{\prime }-t)}\exp (-jw{t}^{\prime })d{t}^{\prime }$$

假如令 $g(t)=I_{[-a,a]}(t)$，也有人叫这个为窗（window）。
$$V_{g}f(t,w)={\int }_{t-a}^{t+a}f(t^{\prime })\exp (-jw{t}^{\prime })d{t}^{\prime }$$
这就是在给定时间附近进行信号采样，利用这些样本来计算频率特征。

我们想探究下面这个式子 $V_{\hat{g}}\hat{f}(w,t)$ 与 $V_{g}f(t,w)$ 的关系：
$$V_{\hat{g}}\hat{f}(w,t)={\int }_{-\infty }^{+\infty }\hat{f}(w^{\prime })\overline{\hat{g}(w^{\prime }-w)}\exp (-jt{w}^{\prime })d{w}^{\prime }$$
还记得 Parseval 关系吗？：$<f,g>=\frac{1}{2\pi }<\hat{f},\hat{g}>$ 。现在 $f(t^{\prime })$ 和 $\hat{f}(w^{\prime })$ 已经能对上了，我们猜想如果把 $\overline{\hat{g}(w^{\prime }-w)}\exp (-jt{w}^{\prime })$ 这个整体当做 $\overline{\hat{h}(w^{\prime })}$ 进行傅里叶反变换能够在形式上得到 $V_{g}f(t,w)$ 中的后头这一项 $\overline{g(t^{\prime }-t)}\exp (-jw{t}^{\prime })=\overline{h(t)}$ 那么就能够说明这两者的关系。好，现在我们来做这件事。
$$\begin{gathered} {\int }_{-\infty }^{+\infty }\overline{\overline{\hat{g}(w^{\prime }-w)}\exp (-jt{w}^{\prime })}\exp (j{t}^{\prime }{w}^{\prime })d{w}^{\prime } \\ ={\int }_{-\infty }^{+\infty }\hat{g}(w^{\prime }-w)\exp (jt{w}^{\prime })\exp (j{t}^{\prime }{w}^{\prime })d{w}^{\prime } \\ \stackrel{w^{\prime \prime }=w^{\prime }-w}{=}{\int }_{-\infty }^{+\infty }\hat{g}(w^{\prime \prime })\exp (jt(w^{\prime \prime }+w))\exp (j{t}^{\prime }(w^{\prime \prime }+w))d{w}^{\prime } \\ ={\int }_{-\infty }^{+\infty }\hat{g}(w^{\prime \prime })\exp (j(t+t^{\prime })w^{\prime \prime })d{w}^{\prime \prime }\exp (j(t+t^{\prime })w) \\ =g(t+t^{\prime })\exp (j(t+t^{\prime })w)=\overline{h(-t)}\exp (-jwt) \end{gathered}$$
事实上，从这里我们就能够得到如下关系，即，$V_{g}f(-t,w)$ 只需乘上一个因子 $\exp (-jwt)$ 就能够通过 Parseval 关系和 $V_{\hat{g}}\hat{f}(w,t)$ 保持等价性。
$$V_{\hat{g}}\hat{f}(w,t)=V_{g}f(-t,w)\exp (-jwt)$$
我们发现一个和前面 $T,M$ 符号一样规律，就是短时傅里叶变换在时域和频域互为主导的两种情况下变量交换的特性，时域变量前面会有一个负号。

• 下面我们再从卷积的角度来观察一下短时傅里叶变换，因为其形式当中确实有和卷积相像的部分。

$$\begin{gathered} V_{g}f(t,w)\stackrel{\tilde{g}(t)=g(-t)}{=}{\int }_{-\infty }^{+\infty }f(t^{\prime })\overline{\tilde{g}(t-t^{\prime })}\exp (-jw{t}^{\prime })d{t}^{\prime } \\ \stackrel{\text{复指数调制}}{=}\left({\int }_{-\infty }^{+\infty }f(t^{\prime })\overline{\tilde{g}(t-t^{\prime })}\exp (jw(t-t^{\prime }))d{t}^{\prime }\right)\exp (-jwt) \\ =\left(f(t^{\prime })\ast (\overline{\tilde{g}}\exp )\right)(t)\exp (-jwt) \end{gathered}$$

其中，复指数调制 $\exp (-jwt)$ 是将卷积核在频域上挪到相应的频点上去采集信号，而 $g$ 又通过时域上的局部化，实时地调整卷积核在时域上采集信号的范围。从而达到计算时变频谱的目的。所以由此可见，我们在做短时傅里叶变换的时候，本质上是在拿一个滤波器同时在时域频域两个维度上对信号做过滤的，因此，它是在时频平面（Time-Frequency Plane） 上的一个滤波器，时频平面是我们做时频分析最常用的展示手段。

不确定性原理

正所谓鱼和熊掌不可兼得，我们通过局部化时域上的采样范围，必然会牺牲掉频域上的部分精度，降低频域上的分辨率。

• 所以下面我们要谈一谈其内在的约束关系，也就是信号处理中的基本原理，不确定性原理（Uncertainty Principle）。

我们先做一些必要的定义：

1. ${\int }_{-\infty }^{+\infty }|f(t){|}^{2}dt<\infty$ 代表有限能量信号。
2. 根据Parseval关系，有 ${\int }_{-\infty }^{+\infty }|\hat{f}(w){|}^{2}dw<\infty$
3. 定义时域和频域上的均值（平均位置）：

$$\{\begin{array}{l}{m}_t={\int }_{-\infty }^{+\infty }t|f(t){|}^{2}dt\\ m_w={\int }_{-\infty }^{+\infty }w|\hat{f}(w){|}^{2}dw\end{array}$$

4. 定义时域和频域上的方差（有效长度）：

$$\{\begin{array}{l}{V}_t={\int }_{-\infty }^{+\infty }(t-m_t{)}^2|f(t){|}^{2}dt\\ V_w={\int }_{-\infty }^{+\infty }(w-m_w{)}^2|\hat{f}(w){|}^{2}dw\end{array}$$

我们想要说明一件事：$V_t\cdot V_w\ge C$，所谓的测不准原理

测不准原理是海森堡的发现，他虽然是希特勒的纳粹阵营，但在当时是地球上最伟大的几个物理学家之一。正所谓成也萧何败也萧何，希特勒之所以放弃原子弹计划也正是因为海森堡在计算重水所需质量的时候多算了两个数量级，超出了德国当时工业产量的100倍。不然按照当时美苏的进度，德国必然是第一个造出原子弹的，一旦用于前线苏联必将垮掉，历史也就会被改写。

海森堡从可交换性（Commutative） 出发。假设 $A,B$ 是两个算子（Operator） , 它们都有自伴随（Self-Adjoint） 的性质。
$$\begin{gathered} <Af,g>={\int }_{-\infty }^{+\infty }(Af)(t)\cdot \overline{g(t)}dt\stackrel{H:\text{伴随}}{=}<f,A^{H}g> \\ (Af{)}^{H}g\stackrel{\text{这里H代表共轭转秩}}{=}{f}^H{A}^{H}g=f^H(A^{H}g) \\ A\stackrel{\text{自伴随：等于自身的共轭转秩，也即复对称}}{=}{A}^H \end{gathered}$$
考虑 $AB=BA$ 只有在共享特征矢量的情况下成立，而一般情况是不相等的。所以考虑定义 $AB-BA\stackrel{[]:\text{泊松括号(Poisson Bracket)}}{=}[A,B]$
$$\begin{gathered} <[A,B]f,f> \\ =<(AB-BA)f,f> \\ =<ABf,f>-<BAf,f> \\ =<Bf,Af>-<Af,Bf> \\ \underset{I_m:\text{虚部}}{\overset{<x,y>=\overline{<y,x>}}{=}}2I_m<Bf,Af>j \end{gathered}$$
进一步，我们得到如下结论：
$$\begin{gathered} |<[A,B]f,f>| \\ =2|I_m<Bf,Af>| \\ \le 2|<Bf,Af>| \\ \le 2||Bf||\cdot ||Af||(\text{柯西不等式}) \end{gathered}$$
定义：$(Af)(t)=t\cdot f(t)$，$(Bf)(t)=\frac{1}{2\pi j}\frac{d}{dt}f(t)$。我们有：
$$\begin{gathered} (AB-BA)f=(AB)f-(BA)f=\frac{1}{2\pi j}t\frac{d}{dt}f(t)-\frac{1}{2\pi j}\frac{d}{dt}(tf(t))=-\frac{1}{2\pi j}(f(t)) \\ |<[A,B]f,f>|=\frac{1}{2\pi }|<f,f>|\le 2||Af||\cdot ||Bf||\stackrel{||f|{|}^2=1}{⟹}||Af||\cdot ||Bf||\ge \frac{1}{4\pi } \end{gathered}$$
接下来我们只需要把 $||Af||$ 和 $||Bf||$ 算好就可以了。
$$\begin{gathered} ||Af||=<Af,Af{>}^{\frac{1}{2}}={\left({\int }_{-\infty }^{+\infty }tf(t)\cdot \overline{tf(t)}dt\right)}^{\frac{1}{2}}={\left({\int }_{-\infty }^{+\infty }{t}^2|f(t){|}^{2}dt\right)}^{\frac{1}{2}}=V_t^{\frac{1}{2}} \\ ||Bf||=<Bf,Bf{>}^{\frac{1}{2}}={\left({\int }_{-\infty }^{+\infty }\frac{1}{2\pi j}\frac{d}{dt}f(t)\cdot \overline{\frac{1}{2\pi j}\frac{d}{dt}f(t)}dt\right)}^{\frac{1}{2}}={\left(\frac{1}{4{\pi }^2}{\int }_{-\infty }^{+\infty }|\frac{d}{dt}f(t){|}^{2}dt\right)}^{\frac{1}{2}} \\ \stackrel{(\frac{d}{dt}f{)}^{\wedge }=w\hat{f}(w)}{=}{\left(\frac{1}{4{\pi }^2}{\int }_{-\infty }^{+\infty }{w}^2|\hat{f}(w){|}^{2}dt\right)}^{\frac{1}{2}}=\frac{1}{2\pi }{V}_w^{\frac{1}{2}} \\ \Rightarrow V_t{V}_w\ge \frac{1}{4{\pi }^2} \end{gathered}$$
我们推出测不准原理经过了柯西不等式，它反映了问题的本质。事实上目前人们已经发现的测不准原理大概几十种是有的。克拉美劳下界就是测不准，它最核心的一步也是用柯西不等式过去的。它反映的是无偏估计条件下，估计的均方误差是一定有下界的，这个下界只依赖于数据的分布，和估计的方法没有任何关系，它实际考虑的也是某种性质的方差，和这里的如出一辙。

测不准关系是整个科学体系当中一个很核心的基本关系。而我们现在看到了这个关系在信号处理上的呈现方式。