06｜音频降噪概述(2)一基于AI降噪

目录

引言：

一. AI降噪模型等基础知识：

1.1 常见的模型结构：

DNN

CNN

RNN

1.2 模型训练方法

步骤：

1.3 设计AI降噪模型：

步骤

二. 基于频域掩码的AI降噪模型

基于频域掩码的AI降噪算法步骤：

三. AI降噪模型的工程部署

因果性：

AI降噪模型存储空间与算力限制

模型选用：

参数量化：

其他(特征/硬件/IO/部署平台等 )： 

参考文献

---

引言：

传统降噪局限性：

传统算法通过统计的方法对噪声进行估计，对稳态噪声能进行有效降噪。但对非稳态噪声和瞬态噪声效果不太理想。

AI降噪相比于传统降噪，噪声抑制效果得到提升，但部署时受到设备算力、存储体积等条件限制。

一. AI降噪模型等基础知识：

AI降噪时基于数据驱动的方法，让模型学习数据内隐含信息。 模型输入时带噪的语音信号，模型的输出时纯净的语音信号。

1.1 常见的模型结构：

DNN

DNN计算中每个神经元都是前一层的加权平均。得到一个多层的线性网络对复杂信号处理进行建模。

CNN

一维卷积(时域)和二维卷积(TF)

RNN

LSTM， GRU，自回归、时序建模

1.2 模型训练方法

分为有监督和无监督训练。降噪一般采用有监督训练

步骤：

1. 通过预处理把带噪信号处理成 输入给NN的输入特征
2. 通过NN预测估计的特征
3. 计算估计的特征和label 特征之间的差距，loss(可以MSE等)
4. Loss反向传播，结合梯度下降更新模型参数
5. 重复至收敛，loss不再下降等

1.3 设计AI降噪模型：

步骤

1. NN降噪模型，包括模型的预处理和后处理过程
2. 合适的loss
3. 合适的语音信号和噪声信号的数据库

时域模型：TasNet等

频域模型：RNNoise、CRN等

二. 基于频域掩码的AI降噪模型

类似传统的维纳滤波通过计算先验信噪比，然后对频域每一个频点乘一个小于1的系数抑制噪声。这些系数称为频域掩码。传统方法是基于统计的方法得到频域掩码，基于NN的方法是通过模型预测出NN。

基于频域掩码的AI降噪算法步骤：

1. 带噪信号过STFT，时域转频域
2. 频域输入NN，NN预测出干净信号的频域掩码
3. 频域信号 乘 频域掩码，得到降噪的频域信号
4. 降噪后的频域信号做iSTFT 得到纯净语音信号

幅度谱：对复数域的取模就是幅度谱，代表不同频点的能量分布。

相位谱：对复数谱中实部与虚部比值求反正切，得到相位谱。(-pai到pai)

上述过程只改变了幅度谱没有改变相位谱。相位谱没有准确描述的物理含义，建模较难且人耳对相位不是很敏感。

基于复数域代表：微软的PHASEN和2020DNS降噪比赛夺冠的DCCRN等

三. AI降噪模型的工程部署

首先AI模型在算力和模型参数存储上比传统方法要求更高。

因果性：

RTC实时音频的应用场景中，降噪处理考虑因果性。  因为未来的信息是拿不到的所以一些双向结构RNN等不能用。  但一点未来信息不用回导致模型的降噪能力下降。

因此采用引入一点延迟的方式提升模型的降噪能力。  比如在第I + m帧输出第i帧的信号。  m一般不超过3。 模型可以look ahead 前3帧。

AI降噪模型存储空间与算力限制

模型部署时，尤其在手机、IOT等移动端部署，设备的算力和存储 空间都会受到限制。

不同模型等算力复杂度和参数量分布：

模型选用：

CNN的卷积核能复用所以参数量较小。DNN和RNN本质上是线性设计，参数量较大。因此移动端等存储空间小的设备设计算法时，会尽量选择CNN，或CNN结合别的结构来压缩参数量。

参数量化：

另一方面对于RNN和DNN等可以通过参数量化等方式对模型进行压缩。比float32 转int8bit量化。  量化会对模型精度造成损伤，CNN等不适合，但RNN和DNN可以做合适量化，没那么敏感。

其他(特征/硬件/IO/部署平台等 )：

选用特征：可以在RNNoise 采用BFCC 这种压缩的频谱特征作为输入，减少特征。

特定的硬件：特点的计算芯片支持不同精度的计算，量化后计算速度更快。

数据读取优化：对模型参数和输入数据，按照内存连续读取最优的方式进行重排，实现IO的加速

采用合适部署工具：

如下图常用的AI模型部署工具

 

参考文献

 1、Luo Y, Mesgarani N. Tasnet: time-domain audio separation network for real-time, single-channel speech separation[C]//2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2018: 696-700.

2、Luo Y, Mesgarani N. Conv-tasnet: Surpassing ideal time–frequency magnitude maskingfor speech separation[J]. IEEE/ACM transactions on audio, speech, and language processing, 2019, 27(8): 1256-1266.

3、Valin J M. A hybrid DSP/deep learning approach to real-time full-band speech enhancement[C]//2018 IEEE 20th international workshop on multimedia signal processing (MMSP). IEEE, 2018: 1-5.

4、Strake M, Defraene B, Fluyt K, et al. Fully convolutional recurrent networks for speech enhancement[C]//ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2020: 6674-6678.

5、Ma C, Li D, Jia X. Optimal scale-invariant signal-to-noise ratio and curriculum learning for monaural multi-speaker speech separation in noisy environment[C]//2020 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC). IEEE, 2020: 711-715.

6、Yin D, Luo C, Xiong Z, et al. PHASEN: A phase-and-harmonics-aware speech enhancement network[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2020, 34(05): 9458-9465.

7、Hu Y, Liu Y, Lv S, et al. DCCRN: Deep complex convolution recurrent network for phase-aware speech enhancement[J]. arXiv preprint arXiv:2008.00264, 2020.

总结自极客课程《搞定音频技术》