声明:语音合成(TTS)论文优选系列主要分享论文,分享论文不做直接翻译,所写的内容主要是我对论文内容的概括和个人看法。如有转载,请标注来源。
欢迎关注微信公众号:低调奋进
XiaoiceSing: A High-Quality and Integrated Singing Voice Synthesis System
本篇文章是亚洲微软在2020.06.11更新的文章,主要是研究小冰唱歌系统,具体的链接 https://arxiv.org/pdf/2006.06261.pdf
1 背景
歌唱合成和普通的语音合成有许多不同,歌唱合成具有更丰富的频率变化。本文设计了高质量的歌唱合成xiaoicesing系统,使合成的歌唱更自然,具体的demo链接 https://xiaoicesing.github.io/ (另一篇文章hifisinger的效果比这篇好很多,音质方面更多与声码器有关)
2 详细的系统
本文使用的系统架构是fastspeech,声码器为world vocoder,具体为图1所示。该系统主要注意的几点。第一,输入的内容是从乐谱中提取的phoneme, pitch和duration,具体的格式为图二。第二,encoder和decoder之间的durtion训练时候不仅考虑phoneme的loss,也考虑syllabl