火山引擎 RTC 音频 AI 降噪的应用与实践

动手点关注 干货不迷路 👆

从视频会议到远程医疗，从连麦开黑到陪伴社交，疫情常态化加速了线下活动线上化，逐渐改变了人们的生产生活方式。其中，音频质量很大程度上影响着通话体验，而噪声又很大程度决定音频质量。比如，居家办公场景，就流传着“居家办公，必有邻居装修”的定律。也是因为装修声会很大程度影响参与效率，所以对居家办公的同学带来了很大的影响。火山引擎 RTC，集成了自研的深度学习降噪方案，来应对游戏、互娱、会议等实时音视频沟通场景下的噪声影响。

让我们看一下 RTC AI 降噪在会议、游戏、居家场景下的降噪效果对比。

会议场景

游戏场景

居家场景

通过上面的对比效果可以明显看到不同噪声对线上生产、生活场景的影响，以及通过 AI 降噪达到的降噪效果。RTC AI 音频降噪采用了经典的CRN网络结构【参考文献 1】作为降噪框架。CRN 网络结构由 Encoder、Recurrent Layer 和 Decoder 三部分组成。这种结构兼具了 CNN 的深层特征抽取能力和递归网络的记忆能力，表现出了比纯 CNN 网络或者纯 GRU 网络更好的降噪能力。

CRN网络结构

在具体落地到产品的过程中，我们在上述基础模型中，解决了实际场景中出现的五大问题：

1. 如何应对各种复杂的设备，多样的环境

2. 如何在满足低延时条件下，提升模型效果

3. 如何在满足低计算量条件下，提升模型效果

4. 如何平衡强降噪和高保真

5. 如何应对对音乐的损伤

通过解决上述问题，可以有效提升算法的速度、实时性和稳定性，保证在语音无损伤的情况下最大程度地实现噪声抑制，提升实时音视频场景，特别是会议、音乐等复杂场景下的互动体验。下面具体展开讲下我们是分别如何解决上述五大问题的。

一、训练数据增广

在我们实际生活中，降噪算法所需要面临的场景是非常复杂多样的。

拿“会议”场景举例，开会环境的多样性给降噪算法带来了不少挑战：在座位上开会，设备会采集到邻座工位上的说话声，此时我们期望算法能去除一定的背景说话人声；在会议室中开会，由于说话人离麦克风的距离各不相同，此时降噪算法面临着多人声、远距离拾音、混响的难题；如果是在公交、地铁、高铁上开会，除了人声，还会引入车辆信号、报站等声音。还有比如在室内玩游戏使用游戏语音的例子，此时，场景中的噪声除了环境噪声，还有敲击屏幕或键盘、拍桌子等各类噪声，此时就需要降噪算法能够尽量抑制足够多类别的噪声。

不仅如此，在不同环境下常用的设备也是不尽相同的。常用设备主要可以归类为以下几类：

除了使用场所有所差别，另外一个主要差异点在于不同设备的采集特性不同，并且自带了不同的音频前处理算法，以现在主流的安卓手机为例，往往出厂就自带了强抑制降噪算法，但在实际体验中仍然存在噪声较多以及人声损伤问题，那么就需要我们的降噪算法去适配这一类“二手”音频数据，包