Lecture 2 DFT STFT Heisenberg's uncertainty principle Spectral Estimation

1. DFT
   对于光学而言，使用RGB表示一个颜色比如，深绿色DarkGreen=（50，100，32）
   $$\begin{bmatrix} \\ {\color{DarkGreen} {DarkGreen}}\\ \\ \end{bmatrix} =\begin{bmatrix} & & \\ {\color{Red} {Red} }& {\color{Green} {Green}} & {\color{Blue} {Blue}}\\ & & \end{bmatrix} \begin{bmatrix} 50\\ 100\\ 32 \end{bmatrix}$$
   对于音频信号而言，信号有无数正弦波组成，可以写成如下形式，x为时域信号，X为频域信号，H为Hessian matrix：转置+共轭，$K^{-1}\mathbf{{F}}$ also called basis/frame/dictionary

$$\mathbf{{x}} =K^{-1}\begin{bmatrix} 1\\sin(\omega t)\\sin(\frac{1}{2}\omega t)\\.\\.\\.\\sin(\frac{1}{N}\omega t) \end{bmatrix}^H \mathbf{{X}}$$
$$\mathbf{{x}}=K^{-1}\mathbf{{F}}^H\mathbf{{X}}$$

2 masking: 遮掩效应，人耳结构（basilar membrane of cochlea）在分析信号频率组成时的分辨率引起。例如，一个声音由5000Hz和5001Hz组成。根据遮掩效应和STFT形成了基本的MP3原理。

3 STFT Short time Fourier Transform，最后变成了卷积，信号通过一组滤波器被分解为小段进行FT。

$$\widetilde{w}(m)=w(-m)$$
$$\omega _k=2\pi \frac{k-1}{K}$$
$$x_k(m)=x(m)e^{-j\omega _k m}$$
$$X(n,\omega)=\sum_{m=-\infty }^{\infty}x(m)w(m-n)e^{-j\omega m}=\sum_{m=-\infty }^{\infty}x_k(m)w(m-n)=\sum_{m=-\infty }^{\infty}x_k(m)\widetilde{w}(n-m)=(x_k * \widetilde{w})(n))$$
Spectrogram 时频图
$$S_x(n,\omega)=|X(n,\omega)|^2$$

4 测不准定理，Heisenberg Uncertainty Principal， A≥2：归一化后，时域频域都可以化为PDF和PMF，Sum分别为1，总和为2

5 窗函数原则
窗大小
语音≈20-30ms
音乐≈25-50ms
Overlap at least 50%

6 trade-off 平衡

7 谱估计 右上角为常用的频谱估计过程
Non-parametric：STFT直接通过FT得到频谱，但是有测不准原则
Parametric：根据模型估计参数得到结果，但是模型如果本身就是错的，结果就会毫无意义。
例：原始信号（蓝色）具有两个Peaks，使用非参数估计得到了正确的Peaks，但是进行参数估计时，使用的时只有一个Peak的模型，因此估计错误，将第二个Peak的能量分散成了噪声信号（黑色横线）。