声明:语音合成论文优选系列主要分享论文,分享论文不做直接翻译,所写的内容主要是我对论文内容的概括和个人看法。如有转载,请标注来源。
欢迎关注微信公众号:低调奋进
Flavored Tacotron: Conditional Learning for Prosodic-linguistic Features
本文是AI Foundation, USA在2021.04.08更新的文章,主要添加韵律特征,使合成的语音更加自然,具体的文章链接
https://arxiv.org/pdf/2104.04050.pdf
1 研究背景
本文提到直接输入音素序列到taoctron中,合成的音频韵律不那么自然,因此需要把韵律信息添加到输入序列。这不得不说一下2020一篇文章Prosodic Prominence and Boundaries in Sequence-to-Sequence Speech Synthesis ,该文章通过CWT工具(https://github.com/asuni/wavelet prosody toolkit)从原始音频中获取prominence和boundary信息,然后把这些信息添加到音素集中,然后输入序列变成如下的输入文本格式,从而使合成的韵律更自然。
本文和上篇文章不同之处在于预测韵律不是添加到音素集中,而且作为condition拼接到系统中。
2 详细系统设计
图1为本系统的详细架构,其中prosody-linguistic features是使用Festival工具获取,classifier主要把音素进行等级分类,所以输出为两维即可。classifier的输出可以拼接到pre-encoder, pre-decoder和postnet中。
3 实验结果
table 1展示了baseline tacotron2和本文方案的参数。由table2 和table3的客观和主观指标显示,本文的方案效果最好。
4 总结
本文把韵律等级信息作为condition拼接到系统中,从而提高语音合成的自然度。