语音合成论文优选：DelightfulTTS: The Microsoft Speech Synthesis System for Blizzard Challenge 2021

声明：平时看些文章做些笔记分享出来，文章中难免存在错误的地方，还望大家海涵。搜集一些资料，方便查阅学习：http://yqli.tech/page/speech.html。语音合成领域论文列表请访问http://yqli.tech/page/tts_paper.html，语音识别领域论文统计请访问http://yqli.tech/page/asr_paper.html。如何查找语音资料请参考文章https://mp.weixin.qq.com/s/eJcpsfs3OuhrccJ7_BvKOg）。如有转载，请注明出处。欢迎关注微信公众号：低调奋进。

DelightfulTTS: The Microsoft Speech Synthesis System for Blizzard Challenge 2021

本文是微软在2021.10.25更新的文章，主要是参加Blizzard Challenge 2021大赛的方案，但该方案在MOS和SMOS非常出众，具体的文章链接https://arxiv.org/pdf/2110.12612.pdf

---

1 简介

Blizzard Challenge 大赛主要为TTS领域提供交流的赛事，更好突出当前最优的TTS方案。Blizzard Challenge2021主要提供5小时的西班牙语的训练语料，本文在fastspeech和Adaspeech基础上提出了DelightfulTTS，该系统在参赛的队伍中脱颖而出，其合成的语音质量媲美​原始语音。另外除了官方提供的5小时训练语料，微软还是使用公司具有的80小时西班牙语料训练基础模型，这是其他队伍​所不具备的优势条件。结果显示，本文的方案在MOS和SMOS表现突出，媲美原始​语音。

2 详细设计

本文的方案是在FastSpeech和Adaspeech基础上设计的方案，具体如图1所示​。该方案具有以下特点​：1）声学模型训练16kHZ的mel-spectrogram,声码器使用16kHZ特征来生成48kHz的波形​，该声码器使用HiFiNet; 2) 声学模型使用功更多特征，a)language id和speaker id使用lookup embedding; b）pitch,duraiton使用predictor; c) utterance-level和phoneme-level prosody使用reference encoders; 3) 本文使用和优化conformer来替换transformer; 4)新使用自有和大赛提供的所有数据预训练基础模型，然后再5​小时数据上进行微调；

3 实验结果

本文的方案为F，原始为R​。MOS如图2所示，原始均值为4.21，F为4.17，其它参赛方案低于​4。SMOS如图3所示，R均值为4.07，F为4.35，其它方案低于4 。图4和图5为可懂度评测，得分跟其它队伍差不多​。

4 总结

本文在Blizzard Challenge 2021大赛提出了DelightfulTTS，但该方案在MOS和SMOS非常出众。​