WavLLM: Towards Robust and Adaptive Speech Large Language Model

本文是LLM系列文章，针对《WavLLM: Towards Robust and Adaptive Speech Large Language Model》的翻译。

摘要

大型语言模型（LLM）的最新进展彻底改变了自然语言处理（NLP）领域，逐渐将其范围扩大到多模态感知和生成。然而，将听力能力有效地整合到LLM中带来了重大挑战，特别是在跨不同背景进行概括和执行复杂的听觉任务方面。在这项工作中，我们介绍了WavLLM，这是一种具有双编码器的鲁棒自适应语音大语言模型，以及一个提示感知的LoRA权重适配器，通过两阶段课程学习方法进行了优化。利用双编码器，我们解耦了不同类型的语音信息，利用Whisper编码器处理语音的语义内容，并利用WavLM编码器捕获说话者身份的独特特征。在课程学习框架内，WavLLM首先通过优化混合的基本单任务来构建其基础能力，包括自动语音识别（ASR）、语音翻译（ST）、说话者验证（SV）、情感识别（ER）、指令调整（IT）和语音问答（SQA），然后对更复杂的任务（如基本任务的组合）进行高级多任务训练。为了提高灵活性和对不同任务和指令的遵守，在第二个高级多任务训练阶段引入了具有提示意识的LoRA体重适配器。我们在包括ASR、ST、SV、ER等任务的通用语音基准上验证了所提出的模型，并将其应用于专门的数据集，如用于SQA的高考英语听力理解集和语音思维链（CoT）评估集。实验表明，所提出的模型在相同模型大小的一系列语音任务中实现了最先进的性能，在使用CoT方法执行复杂任务时表现出了强大的泛化能力。此外࿰