【音频分析】短时傅立叶变换结果为啥是对称？每个结果对应的频率是多少？

传统艺能，又来搞傅立叶变换。
在短时傅立叶变换只有离散的一些频率，变换之后的频谱分布有哪些规律呢？

解释对称性

上公式，N是时间域的窗口采样数（即数组长度）
正变换
$$F(k)=\sum _{n=0}^{N-1}f(n)\ast e^{-i\frac{2\pi nk}{N}}$$
周期性
$$\begin{gathered} W_N^{n(k+N)}=e^{-i\frac{2\pi n(k+N)}{N}}=e^{-i\frac{2\pi nk}{N}}\ast e^{-i2\pi n}=W_N^{nk} \\ F(k)=F(k+N) \end{gathered}$$
周期性说明离散频谱的数量是有限的，或者说是有最小周期分辨率的。而这个数量是由时域的采样窗长度N决定的。

共轭性不讨论。
半对称性，当k在前半窗时：
$$\begin{gathered} F(N-k)=\sum _{n=0}^{N-1}f(n)\ast e^{-i\frac{2\pi n(N-k)}{N}} \\ =\sum _{n=0}^{N-1}f(n)\ast e^{-i\frac{2\pi n(-k)}{N}}\ast e^{-i2\pi n} \\ =\sum _{n=0}^{N-1}f(n)\ast e^{-i\frac{2\pi n(-k)}{N}} \end{gathered}$$
欧拉公式
$$\begin{gathered} e^{ix}=cos(x)+i\ast sin(x) \\ {e}^{-i\frac{2\pi n(-k)}{N}}=cos(\frac{2\pi nk}{N})+i\ast sin(\frac{2\pi nk}{N}) \\ {e}^{-i\frac{2\pi nk}{N}}=cos(\frac{2\pi nk}{N})-i\ast sin(\frac{2\pi nk}{N}) \end{gathered}$$
则可以对比
$$\begin{gathered} F(k)=\sum _{n=0}^{N-1}f(n)\ast cos(\frac{2\pi nk}{N})-i\ast \sum _{n=0}^{N-1}f(n)\ast sin(\frac{2\pi nk}{N}) \\ F(N-k)=\sum _{n=0}^{N-1}f(n)\ast cos(\frac{2\pi nk}{N})+i\ast \sum _{n=0}^{N-1}f(n)\ast sin(\frac{2\pi nk}{N}) \\ 0<=k<=N/2 \end{gathered}$$
变换结果的前半窗和后半窗的实部相等，虚部大小相反。换言之，存储频谱的时候只需要前一半的长度即可。
还有一点就是，正常变换频谱前后各有一半能量，修改频谱的时候，要对称着修改才自然。(虽然把能量集中到一个上也能成功)

频率单位计算

从上面可以得知，基频只能到N/2
$$\begin{gathered} \omega =\frac{2\pi k}{N} \\ =\frac{2\pi }{T} \\ T=\frac{N}{k} \\ f=\frac{k}{N} \\ ,k=0,1,2...,N/2-1 \end{gathered}$$
显然，k=0的时候，周期是$\infty$，频率是0，就是底音强度。
频谱散列，假设每格代表的时长是t秒，
$$0,\frac{1}{N\ast t},\frac{2}{N\ast t}，...,0,\frac{N/2}{N\ast t}.$$
例如16K 10ms的窗，频谱为:
$$\begin{gathered} 0,\frac{1}{0.01},\frac{2}{0.01}，...,0,\frac{80}{0.01}. \\ =0,100,200,...,8000Hz \end{gathered}$$

k =1,k = 2的基频，即100Hz和200Hz。

频谱以百Hz为单位变化的话，在低频部分会相对不够细致。一个方法是加大采样宽度，当N=320时，20ms时
$$\begin{gathered} 0,\frac{1}{0.02},\frac{2}{0.02}，\frac{3}{0.02}，...,0,\frac{160}{0.02}. \\ =0,50,100,150，...,8000Hz \end{gathered}$$
看出来上限都是8000Hz，而采样率是16000Hz，这也满足奈奎斯特采样定律。

逆变换

$$\begin{gathered} f[n]=\sum _{k=0}^{N-1}F[k]\ast e^{j\ast \frac{2\pi kn}{N}} \\ =\sum _{k=0}^{N/2-1}[(F[k].r+j\ast F[k].i)(cos(\frac{2\pi kn}{N})+j\ast sin(\frac{2\pi kn}{N}))+ \\ (F[N-k].r+j\ast F[N-k].i)(cos(\frac{2\pi (N-k)n}{N})+j\ast sin(\frac{2\pi (N-k)n}{N}))] \\ 对称性： \\ =\sum _{k=0}^{N/2-1}[(F[k].r+j\ast F[k].i)(cos(\frac{2\pi kn}{N})+j\ast sin(\frac{2\pi kn}{N}))+ \\ (F[k].r-j\ast F[k].i)(cos(\frac{2\pi kn}{N})-j\ast sin(\frac{2\pi kn}{N}))] \\ =\sum _{k=0}^{N/2-1}[(2\ast F[k].r\ast cos(\frac{2\pi kn}{N})-2\ast F[k].i\ast sin(\frac{2\pi kn}{N}))] \\ =\sum _{k=0}^{N/2-1}2A[k]\ast cos(\frac{2\pi kn}{N}-\theta [k]) \end{gathered}$$
$A[k]$是频谱复平面模长，$\theta [k]$是复平面向量和x轴夹角（相位角），可以看出频域复平面的模长影响时域的实际能量，复平面相位角影响时域实际相位。

可以看出 频谱的虚部和实部同时影响逆变换的效果。
逆变换之后理论时虚部为0，只有实部。

如果想只改变频谱中某分量的相位，则需要计算模长和角度之后，重新计算新相位；
只改变强度，则重新计算模长

第一基频移动 $\pi$

第一基频强度提升5倍
核心代码

 		real = (spec0_copy[1].real**2 + spec0_copy[1].imag**2)**0.5
        angle = np.arcsin(spec0_copy[1].imag/real) # [-pi/2,pi/2]

        real *= 5 # 修改实部或虚部
        angle += np.pi
        print(real,angle)
        spec0_copy[1] = complex(real*np.cos(angle), real*np.sin(angle)) #相位需要保持不变
        spec0_copy[-1] = complex(real*np.cos(angle), -real*np.sin(angle)) #相位需要保持不变
        rec_sig0_copy = np.fft.ifft(spec0_copy) # 逆变换