提升会议体验：大模型赋能的语音识别技术

会议场景的语音识别 (ASR) 是一种高级语音处理技术，专为多方会议环境设计。其核心目标是解决“谁在什么时候说了什么”的问题，即准确识别和记录会议中各个参与者的发言内容，并明确标识每位说话者的身份和发言时间。

会议场景语音识别属于经典鸡尾酒会问题，这一技术应用广泛，可用于自动记录和转录会议内容、生成实时字幕、多语言翻译、情感分析、支持信息检索与知识管理，改进教育和培训，以及在法律和司法领域中记录陈述和辩论等领域。

目前比较流行的会议场景系统架构通常采用前端语音处理、说话人分离、说话人识别标注、语音识别和后处理等多模块耦合的形式，各个模块之间很难实现端到端的优化。

01 会议场景语音识别挑战

由于会议场景的语音识别复杂，多人、多场景、多设备且实时性要求高等客观因素，面临诸多挑战：

•  多说话人识别：在会议中，有多个人同时说话，系统需要能够准确区分不同说话人的语音，并将其关联到正确的身份。这涉及到说话人的声音特征建模和身份确认。

•  重叠语音处理：会议中经常发生多人同时说话的情况，这会导致语音信号的重叠。系统需要具备语音分离技术，以将重叠的语音分离成单独的信号，以便识别和转录。

•  未知说话人数量：会议的参与者数量通常是不确定的，系统需要能够动态适应不同数量的说话人，而不会丧失准确性。

•  远场拾音：在会议室中，如果麦克风远离说话人，会导致语音信号质量下降。系统需要具备远场语音拾音技术，以改善信号质量并提高识别准确性。

•  噪音和混响：会议室中可能存在各种噪音和混响，如背景噪声、回声等。系统需要抵御这些干扰，以保持语音识别性能。

•  算法层面：多模块的耦合导致模型无法实现端到端的优化，无法得到全系统的全局最优的结果。

•  工程落地层面：会议场景的实录数据少，阻碍了科研探索和实践落地。

02 大模型的带来的机遇

语音识别近来迎来了Whisper、wavLM、wav2vec等大模型的风行时代，这些语音大模型可以为会议场景的语音识别带来改进和效果的提升。

Whisper经过68万小时跨98种语言、多种方言、多种场景的多样化语音数据的预训练，具有强大的多场景、多任务识别能力和强大的判别性表示提取能力。

Whisper以多语言语音识别、语音翻译和语言识别为训练目标专门优化。语音大模型在语音识别方面具有更高的准确性，因为它们能够学习更多的语言知识和上下文信息。这有助于提高ASR模块的性能，使其能够更准确地识别多说话人环境中的语音内容。

同时，有不少研究将Whisper迁移到说话人检测任务，也就是Whisper有一定说话人检测能力，可以辅助说话人标注任务。

例如下面的论文中引入了一个轻量级适配器模块将Whisper迁移到多说话人场景，即使在只用一种语言进行适应时，也能保持USMs的多语言属性。论文开发了一种增强版的序列化输出训练，用于同时执行多说话者语音识别和话语时间戳预测。这包括预测所有说话者的语音识别假设，计算说话者数量，并同时估计话语时间戳。

来自 “Adapting Multi-Lingual ASR Models for Handling Multiple Talkers”

尽管语音大模型可以为会议场景的语音识别带来许多潜在的优势，但这些模型也需要域内的会议场景的数据来迁移和自适应，让Whisper适配于多说话人语音识别的应用场景和声学环境。因此多场景、多语种的会议场景实际录制的数据必不可少。

03 会议场景垂域数据

尽管语音大模型如Whisper在会议场景的语音识别中展现出巨大的潜力，但为了使这些模型在多说话人语音识别应用中达到最佳性能，它们往往需要针对特定会议场景的数据进行迁移学习和自适应调整。

这一过程的关键在于拥有丰富的会议场景实际录音数据，涵盖多种语言和声学环境的数据。数据的多样性和真实性对于模型的有效训练至关重要，能够提供模型需要学习和适应的真实世界条件。

如果缺乏专门的训练数据支撑，即使是最先进的模型也可能无法准确识别和处理复杂的会议场景中的多重语音交叉。因此，收集和利用高质量的会议场景数据，不仅是提升模型性能的关键，也是推动语音识别技术向前发展的重要步骤。基于上述对会议场景语音识别数据重要性的讨论，海天瑞声拥有以下训练数据，有助于开发和优化多语言、多说话者的语音识别系统：

中文普通话识别语音库-商务会议对话 King-ASR-856

该数据集包含使用多种录音设备（如头戴式麦克风、录音笔和拾音器）收集的中文普通话商务会议对话。这种多样化的录音方式有助于语音识别系统更好地适应不同的声学环境，提高在实际应用中的准确性和可靠性。

日语识别语音库-商务会议对话 King-ASR-835

该数据集提供了日语环境下的商务会议对话录音，特别是使用手机录制的场景，涵盖了三人小组的交流模式。这种数据集对于训练语音识别系统以识别和处理日语会议中的语音交互非常有价值，尤其是在模拟真实会议环境的情况下。

美国英语识别语音库-商务会议对话 King-ASR-867 

该数据集专注于美国英语的商务会议对话，同样是使用手机录制。它为语音识别系统提供了理解和处理英语会议对话的必要数据，特别是在涉及不同口音和说话风格的情况下。

这些数据集具备多样性和专注于特定语言和场景的特点，为开发高效、准确的多语言会议场景语音识别系统提供支撑。通过利用这些数据进行深入的训练和测试，可以显著提升语音识别系统在处理多说话者、多语种会议环境中的性能，从而推动整个语音识别领域的发展。