语音合成论文优选STYLER: Style Modeling with Rapidity and Robustness via Speech Decomposition for Expressive

 

声明：语音合成论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。

欢迎关注微信公众号：低调奋进

---

STYLER: Style Modeling with Rapidity and Robustness via Speech Decomposition for Expressive and Controllable Neural Text to Speech

本文是韩国科学技术院数据工程与分析实验室在2021.03.17号更新的文章，主要在非自回归合成系统上添加可控的style factor模块，以及对noise的去除模块，具体的文章链接

https://arxiv.org/pdf/2103.09474.pdf

---

1 背景

通常的情感TTS从语音中抽取style factors，例如global style token或者隐变量。本文提到现有的方法不能很好的从音频中分离出style factors，因此本文使用SpeechSplit来进行style factors的分离，诸如：duration, pitch,timbre等等。​从而本文提出了STYLER，该系统能够更加快速快速和鲁棒的进行情感语音合成。

2 详细设计

本文STYLER的系统架构如图1所示，其基础架构为FastSpeech2，其style factors的encoder为SpeechSplit。本文style factors主要包含：text, duration, pitch, speaker, enery 和 noise。比较有意思的是noise的residual decoding，当decoder接入noise信息zn,则为带noise的语音。另外为了其它factors与noise进行解耦，则每个encoder需要添加DAT模块。

3 实验

table1展示了本系统STYLER和其它参考系统对比，其中-P代表文本和原始语言内容一致，-NP则代表本和原始语言内容不一致。由此可知STYLE的MOS在自然度都好于mellotron。另外在unseen的数据好于竞品。table2展示了本文的style迁移好于fastspeech和mellotron。图2展示本文noise模块的作用。

4 总结

本文为了解决现有的情感TTS不能很好的从音频中分离出style factors，因此使用SpeechSplit来进行style factors的分离，并提出了更加鲁棒和快速的系统STYLER。