语音前处理技术在会议场景中的应用及挑战

编者按： 随着在线会议的普及，用户已经不再满足于能听到，而是要有更为极致的听感体验，如何能够在复杂多变的应用场景中依旧保证声音清晰流畅是对会议系统的极大挑战。LiveVideoStackCon2022上海站大会邀请到了全时 音视频研发部经理 顾骋老师，为大家详细介绍了语音前处理技术在会议场景中的应用与挑战。

文/顾骋
整理/LiveVideoStack

大家好，我是顾骋，来自全时，本次分享的主题是语音前处理技术在会议场景中的应用与挑战。

内容主要包括三个方面：第一部分介绍影响会议声音质量的因素及应对方法；第二部分介绍语音前处理技术在会议中的应用；第三部分介绍语音前处理与深度学习技术的结合及效果。

以下是我们在视频会议当中可能经常会遇到的两个场景和问题：

1. 开会时出现杂音，影响参会人员体验

2. 同事讲话时，有他人的键盘声传入影响会议进行

那么，导致产生这些问题的原因是什么呢？

1、如何保障会议中的声音质量

影响声音质量的因素有很多，其中最常见的就是网络。因为声音在网络传输的过程中会有所损失，如数据丢失、包的乱序，或延时较大导致声音过了很久才可被听到。针对这个问题，首先我们需要对相关网络部署进行保障，其次在传输层做一些流控，如在编码时编写冗余信息来对抗丢包问题或是在解码时根据帧与帧的相关性来预测丢失的语音帧。

第二个因素是环境因素，不同于网络因素，环境因素较难察觉。举个例子，同事A在会议室中用座机开会时，同事B进入会议室，打开电脑进入会议，两台设备都开着外放，会导致刺耳尖锐的啸叫声。或是在墙面吸音效果较差的房间进行会议时，由于混响较大，较难听清对方声音。此外，随时随地开会的场景很丰富，在路边开会时，喇叭声传入会议中使得会场混乱，影响他人体验等等。

第三个是硬件因素。如使用iPhone的场景下回声问题出现的概率较小，这是因为它的麦克风扬声器耦合性较好，而部分安卓机由于耦合不良，导致麦克风采集到的扬声器放出的声音非常大，有的声学设计包含许多非线性因素。我们在安卓机上会专门进行适配调整。用头