cosyvoice_pytorch多语言、音色和情感控制模型

CosyVoice

CosyVoice多语言、音色和情感控制模型

论文

• CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens

模型结构

CosyVoice 的架构包括文本编码器、语音标记器、大型语言模型和条件流匹配模型。它将文本到语音的转换过程视为一个自回归序列生成问题，并通过条件流匹配模型将语音令牌转换为Mel频谱图，最后使用HiFiGAN声码器合成波形。

算法原理

CosyVoice 结合了一个自回归 transformer（transformer）基础的语言模型（模型）来为输入 文本生成语音标记（Token）。一个基于常微分方程（ODE-based）扩散模型，通过流对齐从生成的标记（Token）中重建 Mel 谱。随后，采用基于 HiFTNet 的 声码器从重建的 Mel 谱合成波形。虚线模型在某些应用中是可选的，例如跨 语言克隆和说话者微调推理。