VoiceBox：基于文本引导的多语种通用大规模语音生成

VoiceBox：基于文本引导的多语种通用大规模语音生成

Voicebox: Text-Guided Multilingual Universal Speech Generation at Scale

Voicebox是由MetaAI发布的一个类似大语言模型的生成式语音模型。它是一种基础模型，可以完成类似大语言模型的功能，可以针对语音数据进行编辑、补充、去噪音等。是语音数据处理的一个里程碑式的大模型。
​​
本文介绍了Voicebox，一种基于文本引导的大规模多语言语音生成模型。Voicebox通过训练一个非自回归流匹配模型来实现语音填充任务，该模型能够根据音频上下文和文本生成缺失的语音部分。此模型在超过5万小时未经过滤或增强的语音数据上进行训练，展现出了强大的泛化能力，可以执行多项任务，包括Zero-Shot文本到语音（TTS）转换、噪声去除、内容编辑、风格转换以及多样化的样本生成。特别是在英语和多语言设置下，与现有最先进的零Shot TTS模型相比