语音合成论文优选：Improving multi-speaker TTS prosody variance with a residual encoder and normalizing flows

声明：语音合成论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 

欢迎关注微信公众号：低调奋进

---

Improving multi-speaker TTS prosody variance with a residual encoder and normalizing flows

本文为Alexa AI在2021.06.10更新的文章，主要优化multi-speaker模型的韵律问题，具体文章链接https://arxiv.org/pdf/2106.05762.pdf

---

（最近我学习ASR，所以文章更新就少了。另外文章解读没必要按原文逐句翻译，我们只要看该文章的主要贡献点即可，省却大家的时间）

1 背景

TTS的多人模型常常造成特征被average,因此合成的语音缺少每个speaker具备的说话韵律​特征。目前的系统常常添加reference encoder，但该方法存在speaker-leakage​问题。本文基于以上的问题，优化了韵律模块，从而使系统合成的语音韵律更​丰富。

2 详细设计

本文的系统如下，上边为baseline系统，下边为本文提出的系统​。相比于baseline主要修改speaker 和reference部分​。首先speaker 部分使用normalizing flow把数据建模成单高斯分布，（最近我读了几年许多文章，这些文章都采用高斯分布对speaker信息建模，该方案好处是所有的speaker距离不是太大，尤其对unseen speaker​而言）。 其次使用residual encoder代替reference encoder对韵律进行建模，从而解决了speaker-leakage问题