SpeechGPT-Gen: Scaling Chain-of-Information Speech Generation翻译

摘要

得益于有效的语音建模，当前的语音大型语言模型 (SLLM) 已展示出卓越的上下文语音生成能力和对未见过的说话人的有效泛化能力。然而，现行的信息建模过程受到某些冗余的阻碍，导致语音生成效率低下。我们提出了Chain-of-Information Generation (CoIG)，这是一种在大规模语音生成中分离语义和声学信息的方法。在此基础上，我们开发了 SpeechGPT-Gen，这是一个 80 亿参数的 SLLM，在语义和声学信息建模方面非常高效。它包括一个基于 LLM 的自回归模型（用于语义信息建模）和一个采用Flow-Matching的非自回归模型（用于声学信息建模）。此外，我们引入了一种将语义信息注入先验分布的新方法，以提高Flow-Matching的效率。大量实验结果表明，SpeechGPT-Gen 在零样本文本转语音、零样本语音转换和语音转语音对话方面表现优异，凸显了 CoIG 在捕捉和建模语音语义和声学维度方面的卓越能力。代码和模型可在 https://github.com/0nutation/SpeechGPT 上找到。

1.介绍

　　以 ChatGPT 和 LLaMA 为代表的大型语言模型 (LLM) 凭借大规模参数展现出卓越的能力。缩放定律表明，模型大小和数据量在提高性能方面起着关键作用。对于语音生成模型，最近人们努力将训练数据扩展到近 10 万小时的自然语音，这展示了其在上下文语音生成方面的卓越能力，特别是在泛化到未见过的说话人方面。从信息建模的角度来看，当前的大规模语音生成方法可分为两种类型：1）集成生成，涉及同时建模语义和声学信息，而无需在语音生成过程中进行解耦。2）语义解耦生成，最初侧重于语义建模，然后对语义和声学信息进行集成建模以生成完整的语音。然而，尽管他们实现了高质量的语音生成，但在建模过程中不可避免地存在冗余，这表现出潜在的低效率并需要复杂的策略。
　　因此，本文提出了信息链生成（CoIG），一种语义和声学解耦的大规模语音生成方法。与思维链类似，信息链将复杂的语音生成过程分解为多个中间步骤，从语义建模过程开始，然后结合声学建模生成完整的语音。基于信息链生成，我们构建了 SpeechGPT-Gen，这是一种具有强大语义和声学建模能力的语音大型语言模型 (SLLM)。在建模方面，我们使用 SpeechTokenizer 分别提取包含语义和声学信息的两个独立表示。SpeechGPT-Gen 由基于 LLM 的语义建模自回归模型和基于Flow-Matching的非自回归声学建模模型组成。Flow-Matching有效地模拟了从简单先验分布到复杂数据分布的转换，并在语音生成中取得了令人鼓舞的结果。我们提出了两种用于声学建模的Flow-Matching模式：1）显式链，直接对语音声学表示之前的标准高斯概率路径进行建模。2）隐式链，对包含完整语音信息的表示之前注入的语义概率路径进行建模，利用语义和声学信息之间的互补关系隐式地进行声学建模。
　　通过将模型参数扩大到 80 亿，SpeechGPT-Gen 得益于 CoIG 的高效性，展现出强大的语义和声学建模能力，在零样本文本转语音、零样本语音转换和语音转语音对话等方面取得了令人瞩目的成绩。
　　我们的贡献包括：

• 我们引入了信息链生成，一种用于大规模语音生成的语义和声学解藕建模方法。
• 我们提出了 SpeechGPT-Gen，这是一个具有强大语义和声学建模能力的大型语音语言模型。
• 我们提出通过将语义信息注入到先验分布中来提高Flow-Matching的效率。
• 我们将语音生成模型的参数扩展到80亿，在零样本文本转语音、零样本语音转换和语音转语音对话中取得了显著的表现。

2.相关工作和背景

Large Scale Speech Generation。最近，一系列语音生成工作都致力于扩大语音数据量以提高泛化能力。第一类方法涉及基于语音离散表示的自回归建模，如 VALL-E 和 USLM。他们将语音生成任务视为条件语言建模问题。第二类方法利用基于diffusion或flow-matching的非自回归建模，例如 NaturalSpeech2 和 Voicebox。他们学习将简单的先验分布转换为复杂的语音表示分布。这两种方法在语音生成任务中都表现出强大的泛化能力。然而，从信息建模的角度来看，它们的建模过程存在一定的冗余。SpeechGPT-Gen 采用信息链建模方法，并按顺序执行语义和声学建模。
　　Disentangled Speech Modeling。语音解藕广泛应用于传统的小规模语音生成任务，如语音转换和语音编码，但尚未应用于大规模语音生成。SpeechTokenizer 在残差矢量量化 (RVQ)-GAN 上采用语义监督，以跨不同 RVQ 层分层解藕语音信息的不同方面。具体而言，第一个 RVQ 量化器生成包含语义信息的token，而后续量化器补充剩余的副语言信息。我们利用 SpeechTokenizer 提取的解藕语音表示来构建大规模语音生成模型。
　　Flow Matching for Speech Generation。Continuous Normalizing Flows (CNFs) 旨在通过学习从简单先验分布 $p_0$ 到数据分布 $p_1\approx q$ 的概率路径来估计数据 $x\in {\mathbb{R}}^d$ 的未知分布 $q(x)$。CNFs 通过时间相关的概率密度函数 $p_t:[0,1]\times {\mathbb{R}}^d\to {\mathbb{R}}^{+}$ 定义路径。由时间相关的矢量场 $v_t:[0,1]\times {\mathbb{R}}^d\to {\mathbb{R}}^d$ 构造的流 ${\varphi }_t:[0,1]\times {\mathbb{R}}^d\to {\mathbb{R}}^d$ 通过常微分方程 (ODE) 定义：
$$\frac{d}{dt}{\varphi }_t(x)=v_t({\varphi }_t(x));{\varphi }_0(x)=x\text{\hspace{1em}(1)}$$
因此，通过变量变换公式可以推导出时间相关的概率密度函数 $p_t=p_0({\varphi }_t^{-1}(x))det(\frac{\partial {\varphi }_t^{-1}}{\partial x}(x))$。Flow-Matching目标可以表述为：
$$L_{FM}(\theta )={\mathbb{E}}_{t\sim U[0,1],x\sim p_t(x)}||u_t(x)-v_t(x;\theta )|{|}^2\text{\hspace{1em}(2)}$$
其中 $u_t$ 是生成概率路径 $p_t$ 的矢量场，$v_t(x;\theta )$ 是由神经网络 $\theta$ 参数化的矢量场。然而，由于缺乏 $p_t$ 或 $v_t$ 的先验知识，$L_{FM}$ 是无法计算的。幸运的是，(Lipman et al., 2023) 提出了Conditional Flow Matching (CFM) 目标，如下所示：
$${\mathcal{L}}_{CFM}(\theta )={\mathbb{E}}_{t,q(x_1),p_t(x|x_1)}||u_t(x|x_1)-v_t(x;\theta )|{|}^2.\text{\hspace{1em}(3)}$$
通过对真实数据 $x_1$ 进行 p_t 和 v_t 的条件化，并证明 FM 和 CFM 具有相同的梯度，用于训练生成模型。我们可以采用最优传输 (OT) 路径作为条件流，定义为 $p_t(x|x_1)=\mathcal{N}(x|t{x}_1,(1-(1-{\sigma }_{min})t{)}^{2}I)$ 和 $u_t(x|x_1)=(x_1-(1-{\sigma }_{min})x)/(1-(1-{\sigma }_{min})t)$，其中 ${\sigma }_{min}$ 足够小，使得 $p_1(x|x_1)$ 以 $x_1$ 为中心。
　　利用 $L_{CFM}$ 作为训练目标函数，一些研究已成功将flow-matching用于语音生成，并取得了令人鼓舞的结果。然而，它们通常将过程从简单的先验分布建模为包含完整语音信息的梅尔频谱图或潜在特征。相比之下，SpeechGPT-Gen 使用流匹配来建模语音中的声学信息，并通过修改先验分布来提高其效率。

3.SpeechGPT-Gen

SpeechGPT-Gen 基于信息链生成方法，依次进行语义建模和声学建模。SpeechTokenizer 用于提取语义表示和声学表示。SpeechGPT-Gen 由基于 LLM 的语义建模自回归模型和基于flow-matching的非自回归模型组成。

3.1 Speech Tokenization

SpeechTokenizer 是一种基于残差矢量量化 (RVQ) 的语音token华方法，它在不同的 RVQ 层上分层地分解语音信息的不同方面。具体而言，第一个 RVQ 量化器生成包含语义信息的token，而后续量化器则补充剩余的声学信息。SpeechTokenizer 将表示为 $s\in {\mathbb{R}}^{d\cdot f_{sr}}$ 的单通道音频信号作为输入，其中 $d$ 表示持续时间，$f_{sr}$ 表示采样率。SpeechTokenizer 的输出包括 $Q=8$ 个分层 RVQ token $(q_1,...,q_Q)$ 和 $Q$ 个码本 $(C_1,...,C_Q)$，用于相应的 RVQ 层。 $q_i\in {\mathbb{R}}^T$ 表示长度为 $T$ 的一维序列。RVQ token $q_i$ 可以嵌入到码本 $C_i\in {\mathbb{R}}^{K\times H}$ 中，得到连续向量序列 $v_i\in {\mathbb{R}}^{T\times H}$，其中，对于 $i\in 1,...,Q,j\in 1,...,T$有$v_i^j=C_i(q_i^j)$。所有 RVQ 层的连续表征之和表示为 $v_{1:8}={\sum }_{i=1}^Q{v}_i$，涵盖了语音中的所有信息。我们利用来自第一个 RVQ 层 $q_1$ 的token作为包含语义信息的表示，利用从第二层到最后一层的连续向量之和 $v_{2:7}={\sum }_{i=2}^Q{v}_i$ 作为包含声学信息的表示。我们在 CommonVoice 和 LibriSpeech 数据集上训练 SpeechTokenizer，其他设置与 (Zhang et al., 2023b) 相同。

3.2 LLM for Semantic Modeling

SpeechGPT 是一个大型跨模态语言模型，可以执行跨模态指令遵循和语音对话，表现出出色的语音语义建模能力。利用 HuBERT 将语音离散化为单元，SpeechGPT 执行模态自适应预训练、跨模态指令微调和模态链指令微调。我们使用 SpeechGPT 进行语音语义建模，用 SpeechTokenizer RVQ-1 token $q_1$ 替换 HuBERT 离散单元。对于模型结构，我们采用 LLaMA2-7B-Chat 作为预训练的 LLM。对于训练数据，我们采用 SpeechTokenizer RVQ-1 token来表示语音，并遵循 SpeechInstruct 的流程和设置来构建训练数据集 $D$，包括跨模态指令集和模态链指令集。我们使用 Multilingual Librispeech、Gigaspeech、Commonvoice 和 Librispeech 来构建跨模态指令集。对于训练，我们跳过模态适应预训练，使用跨模态指令集 $I$ 对 LLaMA2-7B-Chat 进行跨模态指令微调。在模态链指令微调中，我们选择全参数微调，而不是在模态链指令集上进行 LoRA 微调。两个训练阶段的训练目标可以格式化为：
$$L_{ar}=-log\prod _{t=0}^{n}P(d_t|d_{<t};{\theta }_{ar})\text{\hspace{1em}(4)}$$
其中 $d\in D$ 由 $d_1,...,d_n$ 组成，$n$ 是样本 $d$ 中的token总数，${\theta }_{ar}$ 表示 SpeechGPT 的参数。

3.3 Flow Matching for Perceptual Modeling

　　Flow matching有效地模拟了从简单先验分布到复杂数据分布的转换，并在语音生成中取得了良好的效果。我们使用Flow matching进行声学建模。如图 2 所示，给定语音 $s$、语义表示 $v_1$、感知表示 $v_{2:8}$ 和 SpeechTokenizer 提取的完整信息表示 $v_{1:8}=v_1+v_{2:8}$，声学建模是指给定提示语音 $a$ 和语义表示 $v_1$ 来预测完整表示 $v_{1:8}$。我们提出了两种用于声学建模的流匹配模式：显式链和隐式链。
　　Explicit Chain。对于显式链，该模型根据语义表示和语音提示，直接从标准高斯先验生成声学表示。具体来说，Flow matching以连续的方式模拟从简单的标准高斯先验分布 $p_0=N(x_0|\mu =0,\sigma =1)$ 到感知表示 $v_{2:8}$ 的数据分布 $p_1$ 的转换路径。我们使用流步骤 $t$ 来描述转换的进度，其中先验在 $t=0$ 处，数据在 $t=1$ 处。我们让 $x_1=v_{2:8}$、先验 $p_0=N(x_0|\mu =0,\sigma =1)$ 和 $z=v_1$。
　　Implicit Chain。对于隐式链，模型不显式地生成声学表示。相反，它利用语义表示 $v_1$ 和声学表示 $v_{2:8}$ 之间的互补关系，即 $v_{2:8}=v_{1:8}-v_1$。具体来说，我们将语义信息注入先验分布中以获得语义先验：
$$p_0=N(x_0|\mu =v_1,\sigma =1)$$
通过连续建模从语义先验 $p_0$ 到完整信息表示 $v_{1:8}$ 的数据分布 $p_1$ 的转换路径，模型学习补充声学信息以获得完整信息，隐式地进行感知建模。我们使用流程步骤 $t$ 来描述转换的进度，其中先验在 $t=0$ 处，数据在 $t=1$ 处。我们设置 $x_1=v_{1:8}$、先验 $p_0=N(x_0|\mu =v_1,\sigma =1)$ 和 $z=v_1$。
　　Training。在确定 $x_1$、$p_0$ 和 $z$ 之后，我们使用Flow matching训练声学建模模型。令 $m$ 为长度与 $x_1$ 相同的二元时间掩码 $N$，$x_{tgt}=m\odot x_1$ 和 $x_{pmt}=(1-m)\odot x_1$ 为 $x_1$ 的互补掩码版本。生成模型以 $z$ 和 $x_{pmt}$ 作为条件，以 $x_{tgt}$ 作为预测数据，学习 $p(x_{tgt}|z,x_{pmt})$。$m[:n]=0,m[n:]=1$，其中 $n\sim \mu (0,N)$。我们使用由 $\theta$ 参数化的 Conformer 编码器来预测条件向量场 $vt(x_t,x_{pmt},z;\theta )$，其中 $x_t$ 表示流步骤 $t$ 处的样本。序列 ($x_t$ 和 $z$) 逐帧连接并投影，然后与 $x_{pmt}$ 连接，然后作为输入发送到 Conformer。在训练期间，对于 $x$ 和先验样本 $x_0\sim p_0$，我们有：
$$x_t=(1-(1-{\sigma }_{min})t)x_0+t{x}_1\text{\hspace{1em}(5)}$$
$$u_t(x_t|x_1)=x_1-(1-{\sigma }_{min})x_0\text{\hspace{1em}(6)}$$
　　我们设置${\sigma }_{min}=0$。训练目标可以形式化为：
$L_{nar}={\mathbb{E}}_{t,m,q(x_1,z),p_0(x_0)}=||m\odot (u_t(x_t|x_1)-v_t(x_t,x_{pmt},z;{\theta }_{nar}))|{|}^2,$
采用多语言LibriSpeech进行训练，模型结构是具有双向自注意和旋转位置嵌入的标准Conformer网络。
　　Inference。给定语音提示 $a$ 和从 SpeechGPT 派生的语义表示 $v_1$，我们首先利用 SpeechTokenizer 为语音提示提取完整的信息表示 $v_{1:8}^a$。对于显式链，我们设置先前的 $p_0=N(x_0|\mu =0,\sigma =1)$。对于隐式链，我们设置 $p_0=N(x_0|\mu =v_1,\sigma =1)$。我们首先从先验的 $p_0$ 中采样 $x_0$，然后利用 ODE 求解器通过在多个 $t$ 处评估 $v_t$ 来计算 ${\varphi }_1(x_0)$，以在给定初始条件 ${\varphi }_0(x_0)=x_0$ 和 $\frac{d{\varphi }_t(x_0)}{dt}=v_t(x_t,v_{1:8}^a,v_1;\theta )$ 的情况下近似从 $t=0$ 到 $t=1$ 的积分。在每个步骤中，ODE 求解器根据上一步中的 $t$、$x_t$、语音提示 $v_{1:8}^a$、语义表示 $v_1$ 和模型 $\theta$ 来估计 $x_{t+1}$。在最后一步之后，它生成 $x_1$。对于显式链，$x_1$ 包含声学信息，需要将其添加到 $v_1$ 中才能获得完整的信息表示 ${\hat{v}}_{1:8}=x_1+v_1$。对于隐式链，$x_1$ 包含整个语音信息，因此我们有 ${\hat{v}}_{1:8}=x_1$。最后，我们使用 SpeechTokenizer 解码器生成以 $v_{1:8}$ 为条件的语音输出。

3.4 Application

Zero-shot Text-to-Speech。SpeechGPT-Gen 可以通过将给定的文本作为 SpeechGPT 的输入、将输出与提示语音连接、利用flowing matching模型以及将输出转换为合成语音，来合成具有给定提示音色的语音。
　　Zero-shot Voice Conversion。SpeechGPT-Gen 可以转换源语音的音色以匹配给定的提示语音。它通过使用提示语音和源语音的 SpeechTokenizer RVQ-1 token作为flowing matching模型的输入来实现这一点。处理结果输出以生成最终转换后的语音。
　　Speech-to-Speech Dialogue。SpeechGPT-Gen 可以用与给定语音提示音色相匹配的语音来响应语音指令。它通过使用语音指令的 SpeechTokenizer RVQ-1 token作为 SpeechGPT 的输入，将输出与提示语音连接起来，利用flowing matching模型，并将输出转换为合成语音来实现这一点。