语音合成论文优选：通用tts系统Towards Universal Text-to-Speech

声明：语音合成论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。

欢迎关注微信公众号：低调奋进

Towards Universal Text-to-Speech

本文是中国微软在interspeech 2020发表的关于通用语音合成系统的文章，可以灵巧的扩展新的speaker和language，具体文章链接

https://www.isca-speech.org/archive/Interspeech_2020/pdfs/1590.pdf

1 研究背景

这篇文章主要研究通用性tts，即多语言和多说话人共用一个模型（本文实验1250小时数据，50种语言）。为了解决语言之间和说话人之间的数据不平衡问题，本文采用数据采样策略来优化数据较少的语言数据或者说话人数据。另外本系统可以更灵活的扩展新的语言和说话人。

2 详细设计

本文的系统结构如下图1所示，其中主要包括encoder-decoder模块，speaker network和language netowrk, neural vocoder。其中语言的音素集合是相互独立，即每种语言一个单独的音素表。图2展示，即使不同语言的音素不放在一起，但发音相似的音素会聚在一起。另外本文的重点是解决数据的不平衡，如公式1所示，对每个batch数据进行抽样，其概率需要添加参数α 控制࿰