GLM-4-Voice：智谱AI的端到端中英语音对话模型

在人工智能领域，自然语言处理和语音识别技术的结合一直是研究的热点。今天，我要向大家介绍智谱AI推出的一款革命性产品——GLM-4-Voice，这是一款能够直接理解和生成中英文语音的智能对话系统，它支持实时对话，并能根据用户的指令改变语音的情感、语调、语速、方言等属性，让机器交流更加自然。

模型架构

GLM-4-Voice 的架构由三个核心部分组成：

1. GLM-4-Voice-Tokenizer：这是一个语音分词器，它在 Whisper 的 Encoder 部分增加了 Vector Quantization 并在 ASR 数据上进行了有监督训练。它能够将连续的语音输入转化为离散的 token，平均每秒音频只需要用 12.5 个离散 token 表示。

2. GLM-4-Voice-Decoder：这是一个基于 CosyVoice 的 Flow Matching 模型结构训练的语音解码器，支持流式推理。它将离散化的语音 token 转化为连续的语音输出，最少只需要 10 个语音 token 即可开始生成，有效降低了端到端对话的延迟。

3. GLM-4-Voice-9B：在 GLM-4-9B 的基础上进行了语音模态的预训练和对齐，使其能够理解和生成离散化的语音 token。

在预训练方面，为了提升模型在语音模态下的智商和合成表现力，智谱AI将 Speech2Speech 任务解耦为两个子任务：“根据用