语音合成论文优选：Flavored Tacotron: Conditional Learning for Prosodic-linguistic Features

声明：语音合成论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。

欢迎关注微信公众号：低调奋进

---

Flavored Tacotron: Conditional Learning for Prosodic-linguistic Features

本文是AI Foundation, USA在2021.04.08更新的文章，主要添加韵律特征，使合成的语音更加自然，具体的文章链接

https://arxiv.org/pdf/2104.04050.pdf

---

1 研究背景

本文提到直接输入音素序列到taoctron中，合成的音频韵律不那么自然，因此需要把韵律信息添加到输入序列。这不得不说一下2020一篇文章Prosodic Prominence and Boundaries in Sequence-to-Sequence Speech Synthesis ，该文章通过CWT工具（https://github.com/asuni/wavelet prosody toolkit）从原始音频中获取prominence和boundary信息，然后把这些信息添加到音素集中，然后输入序列变成如下的输入文本格式，从而使合成的韵律更自然。

本文和上篇文章不同之处在于预测韵律不是添加到音素集中，而且作为condition拼接到系统中。

2 详细系统设计

图1为本系统的详细架构，其中prosody-linguistic features是使用Festival工具获取，classifier主要把音素进行等级分类，所以输出为两维即可。classifier的输出可以拼接到pre-encoder, pre-decoder和postnet中。

3 实验结果

table 1展示了baseline tacotron2和本文方案的参数。由table2 和table3的客观和主观指标显示，本文的方案效果最好。

4 总结

本文把韵律等级信息作为condition拼接到系统中，从而提高语音合成的自然度。