CosyVoice模型论文笔记

CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens论文读后记录
论文贡献
①我们首次将有监督的语音令牌集成到TTS模型中，增强了零样本语音克隆中的内容一致性和说话人相似性。
②我们提出了一个可扩展的零样本TTS合成系统CosyVoice，它将用于文本到令牌生成的LLM与用于令牌到语音合成的条件流匹配模型相结合，无需额外的音素化器和强制对齐器。
③为了进一步细化生成语音的质量，我们将x向量融入LLM，将语音建模分离为语义、说话人和韵律成分。LLM模型对语义内容和韵律进行建模，而条件流匹配模型捕捉音色和环境信息。我们使用无分类器引导、余弦调度器和屏蔽条件等技术来优化流匹配过程。