VoiceCraft：开源语音编辑和零样本语音合成模型，性能超过VALL-E和XTTS v2

引言

语音编辑和零样本语音合成是两个亟待解决的语音处理领域。前者能够帮助内容创作者更轻松地修改语音录音中的错误词或短语，使之更加流畅自然;后者则可以赋予语音合成模型处理未见过的目标说话人声音的能力，大幅提升应用场景的广泛性。然而，目前现有的方法在这些任务上仍存在诸多挑战，比如生成的语音缺乏自然性和连贯性，或者泛化性较差，难以应对复杂的真实世界数据。

VoiceCraft，是一个基于神经编码语言模型的开源模型。VoiceCraft在语音编辑和零样本语音合成两个任务上均取得了突破性进展，其性能显著超过了当前业界SOTA模型VALL-E和XTTS v2。

• Huggingface模型下载：https://huggingface.co/pyp1/voicecraft

• AI快站模型免费加速下载：https://aifasthub.com/models/pyp1

VoiceCraft模型介绍

VoiceCraft的核心创新在于采用了一种基于编码序列的生成方法。具体来说，它首先使用Encodec将原始语音信号量化为一系列可学习的离散编码单元，然后基于这些编码单元训练一个Transformer解码器模型来执行自回归生成。

为了支持在已有语音序列上进行填充式编辑和零样本语音合成，VoiceCraft引入了两个关键技术:

• 因果遮蔽:在训练时，VoiceC