NaturalSpeech: End-to-End Text-to-Speech Synthesis With Human-Level Quality
题目:NaturalSpeech: 具有人类水平质量的端到端文本到语音合成
作者: X. Tan; J. Chen; H. Liu; J. Cong; C. Zhang; Y. Liu; X. Wang; Y. Leng; Y. Yi; L. He; S. Zhao; T. Qin; F. Soong; T. -Y. Liu
摘要
近年来,文本到语音(TTS)系统在学术界和工业界都取得了快速进步。一些自然的问题随之而来,例如TTS系统是否能够达到人类水平的质量,如何定义/判断这种质量,以及如何实现它。在本文中,我们首先基于主观测量的统计显著性定义了人类水平的质量,并引入适当的指南来判断它,然后开发了一个名为NaturalSpeech的TTS系统,在基准数据集上实现了人类水平的质量。具体来说,我们利用变分自编码器(VAE)进行端到端的文本到波形生成,包括几个关键模块,以增强文本的先验能力和降低语音的后验复杂性,包括音素预训练、可微分持续时间建模、双向先验/后验建模以及VAE中的记忆机制。在流行的LJSpeech数据集上的实验评估表明,我们提出的NaturalSpeech在句子级别的比较平均意见得分(CMOS)上与人类录音相比达到了-0.01,通过Wilcoxon符号秩检验在p级p ≫ 0.05下,这首次证明了与人类录音没有