高斯扩散模型_基于扩散概率模型 (Diffusion Probabilistic Model ) 的音频生成模型

近两年音频生成是一个非常火热的研究课题，其目的主要在于如何将低维度、低帧率的输入特征转换成高采样率的语音信号。针对该任务，现有的技术，比如自回归网络和GAN，都处于瓶颈阶段，无法同时满足高音质和高实时率的要求。扩散概率模型的提出，为该问题提出了新的解决方向。

简述

在条件音频生成任务中，比如神经声码器 (neural vocoder)，端到端TTS，其大体框架都是将同样长度的高斯噪声通过一个生成模型映射到目标波形信号。扩散概率模型也是如此，但具体操作方法，包括训练和解码，都与其他方案不同。

扩散概率模型是一种基于马尔可夫链的概率模型，它将噪声和目标波形的映射关系分成了

个步骤，形成了一条马尔可夫链。 我们针对该链的扩散过程（从目标音频到噪声）进行训练，然后通过反向过程（从噪声到目标音频）进行解码。接下来，我将首先介绍扩散概率模型，包括训练和解码，然后介绍其在音频生成相关方向上的具体应用。

扩散概率模型

首先定义

是目标变量，

是目标变量的数据分布，

是一系列和

同等维度的变量，

则为扩散步数。一个扩散模型有两个过程组成，扩散过程和反向过程。

扩散过程的目的是通过一条马尔可夫链将

逐渐映射到多维正态分布（高斯噪声），即：

其中

被定义为和常数

有关的高斯分布

。该过程相当于迭代的添加少量的高斯噪声，最终将目标转换为不同维度间相互独立的多维正态分布。

反向过程则是希望进行基于正态分布的采样进行生成：