上几篇文章介绍了基于对数功率谱预测IRM、实现对幅度谱降噪的几种做法,本篇文章基于AI-GruNet通过复数比例掩码,实现对幅度谱和相位谱的整体的降噪重建。
一、模型结构
使用AI-GruNet模型结构。
特征方面,使用实虚部拼接作为特征。
网络方面,先进行归一化,然后使用两层GRU层,实现对时间序列历史信息建模,dropout防止过拟合。然后先经过两层隐层全连接, 最后通过两层全连接分别预测实部和虚部的增益掩码。
前向代码如下:
最后估计的mask作用到实部和虚部,达到降噪。其中M代表预测掩码,Y为带噪实部虚部,S为估计的干净谱。
相比IRM对带噪幅度谱的处理,CRM通过对实部虚部的掩码处理,进而实现对幅度谱和相位谱整体的降噪重建。
二、训练目标
使用cRM作为训练目标。
三、测试数据和处理结果
风噪测试效果,降噪达35db:
grunet_crm_fan_orig.wav,算法晓记,10秒 #测试音频2个内容
grunet_crm_fan_nsout.wav,算法晓记,10秒 #测试音频2个内容
无法张贴测试音频,更多测试音频和下载链接,见微信公众号“算法晓记”。
四、代码
包括训练代码和工程代码,后续考虑公开。