【SpeechLLMs】语音大型语言模型综述《A Survey on Speech Large Language Models》

摘要

大型语言模型 (LLM) 表现出强大的上下文理解能力和显著的多任务性能。 因此，研究人员一直在寻求将 LLM 整合到更广泛的语音语言理解 (SLU) 领域。 与传统方法不同，传统方法是将 LLM 级联以处理自动语音识别 (ASR) 生成的文本，而新方法则集中于设计围绕音频特征提取 - 多模态信息融合 - LLM 推理(语音 LLM) 的架构。 此方法可以实现更丰富的音频特征提取，同时促进音频和文本模态的端到端融合，从而实现对音频数据的更深入理解和推理。 本文阐述了语音 LLM 的发展，对系统架构和训练策略进行了深入分析。 通过广泛的研究和一系列有针对性的实验，本文评估了语音 LLM 在丰富音频转录方面的进步及其在 SLU 领域进行跨任务集成的潜力。 此外，它还指出了通过实验发现的关键挑战，例如在某些条件下LLM 的休眠。 本文进一步探讨了语音 LLM 的训练策略，根据这些发现提出了潜在的解决方案，并为该领域的未来研究以及 LLM 在多模态环境中的应用提供了宝贵的见解和参考。

1、引言

大型语言模型在自然语言处理领域取得了特别显著的进步&#x