TPAMI 2024 |NaturalSpeech: 具有人类水平质量的端到端文本到语音合成

NaturalSpeech: End-to-End Text-to-Speech Synthesis With Human-Level Quality

题目：NaturalSpeech: 具有人类水平质量的端到端文本到语音合成

作者： X. Tan; J. Chen; H. Liu; J. Cong; C. Zhang; Y. Liu; X. Wang; Y. Leng; Y. Yi; L. He; S. Zhao; T. Qin; F. Soong; T. -Y. Liu

---

摘要

近年来，文本到语音（TTS）系统在学术界和工业界都取得了快速进步。一些自然的问题随之而来，例如TTS系统是否能够达到人类水平的质量，如何定义/判断这种质量，以及如何实现它。在本文中，我们首先基于主观测量的统计显著性定义了人类水平的质量，并引入适当的指南来判断它，然后开发了一个名为NaturalSpeech的TTS系统，在基准数据集上实现了人类水平的质量。具体来说，我们利用变分自编码器（VAE）进行端到端的文本到波形生成，包括几个关键模块，以增强文本的先验能力和降低语音的后验复杂性，包括音素预训练、可微分持续时间建模、双向先验/后验建模以及VAE中的记忆机制。在流行的LJSpeech数据集上的实验评估表明，我们提出的NaturalSpeech在句子级别的比较平均意见得分（CMOS）上与人类录音相比达到了-0.01，通过Wilcoxon符号秩检验在p级p ≫ 0.05下，这首次证明了与人类录音没有