语音合成论文优选：Towards Multi-Scale Style Control for Expressive Speech Synthesis

声明：语音合成论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。

欢迎关注微信公众号：低调奋进

以后文章阅读不对论文的好坏和缺点进行点评，感觉有点得罪人。以后文章主要讲解论文的主要内容即可。

---

Towards Multi-Scale Style Control for Expressive Speech Synthesis

本文是清华大学在2021.04.08更新的文章，主要提出使用全局特性GST和局部特性LPE来控制情感语音合成，具体的文章链接

https://arxiv.org/pdf/2104.03521.pdf

---

相关的主题总结可以参考的另外一篇文章​：

语音合成（speech synthesis）方向八：韵律迁移和建模

https://mp.weixin.qq.com/s?__biz=MzAxNjY3NjQwOQ==&mid=2247484979&idx=1&sn=337db509581939541cb92786392047d7&chksm=9bf06565ac87ec73a6365cd67aa8871e9fb376869f3ff37dda9b0c0fc60cd7713985054951bf&token=717450471&lang=zh_CN#rd

---

1 研究背景

现在的情感语音合成可以使用全局特性（句子级别）和局部特性（短语，音素，帧级别）等多尺度特征来控制情感音频的合​成。但目前的多尺度的语音情感控制存在局部特征没有完全考虑句子级别的语境信息，而学习的全局信息往往是同一类标签的均值信息，没有完全与给出的参考​音频的特征。为了解决以上的问题，本文提出了基于multi-scale的端到端的情感​语音合成系统。

2  详细设计

本文的系统架构如图1所示，其中global和local feature使用同一个multi-scale reference encoder,其结构如图2所示​。我们可以看一下图2结构，参考语音特征经过6层卷积后生成quasi-phoneme-scale序列，该序列分别经过global和local的gru层来获取​相应的信息。在推理的阶段，local和global可以使用不同的参考语音，使情感进行交叉​。

3 实验

图3对比只使用global和local的特征，以及本文的方案，可以看出base-G和base-L都不能很好合成原始的情感，本文的方案​可以。图4对比帧级别对齐和本文的quasi-phoneme-scale，本文quasi-phoneme-scale更好。table1 mos测试也是​本文最好。

4 总结

本文提出使用全局特性GST和局部特性LPE来控制情感的端到端的语音合成系统，除了使情感合成更好，也可以使​情感进行交叉。