【多模态大模型论文精读】MOSHI：双工实时语音对话大模型

写在前面

大型语言模型（LLM）的飞速发展，让人机对话变得越来越自然流畅。从 Alexa、Siri 到 Google Assistant，语音助手已经成为我们生活中不可或缺的一部分。然而，这些看似智能的对话系统，背后却隐藏着一个“致命”的缺陷——它们无法像人类一样进行实时的、全双工的对话。

传统的人机对话系统，通常采用“回合制”的交互模式：用户说一句，系统处理一句，然后再回复一句。这种模式导致了几个问题：

1. 高延迟：系统需要等待用户说完一整句话，才能开始处理和生成回复，导致对话的延迟很高，通常需要几秒钟。
2. 信息丢失：语音中的非语言信息（如情感、语气、非语言声音等）在文本转换过程中会丢失，导致系统无法理解用户的真实意图。
3. 缺乏交互性：系统无法处理重叠语音、打断、插话等真实对话中常见的现象，使得对话显得生硬、不自然。

为了解决这些问题，来自 Kyutai 实验室的研究人员提出了 MOSHI，一个全新的语音-文本基础模型，旨在实现真正意义上的实时、全双工对话。

MOSHI：实现实时全双工对话