语音合成论文优选：Anyone GAN Sing

声明：语音合成论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。

欢迎关注微信公众号：低调奋进

Anyone GAN Sing

本文为印度金奈SRM科技学院计算机科学与工程系在2021.02.22更新的文章，主要提出了ConvLSTM(convolutional Long Short-term Memory)来优化WGANsing歌唱合成系统，具体的文章链接

https://arxiv.org/pdf/2102.11058.pdf （我个人感觉比较有意思的是ConvLSTM的提出）

1 研究背景

歌唱合成相比TTS来说更加复杂，它需要考虑更加复杂的pitch和韵律变化等等因素。目前已经有很多的歌唱合成方案，本文主要是在基于Gan的WGANSing架构上进行优化，使合成的歌曲更加自然。（主要贡献点是ConvLSTM替代CNN）

2 详细设计

本系统是GAN的系统，主要包括生成器G和辨别器D，其LOSS为公式1，为了避免梯度消失等不稳定问题，本文使用Wasserstein-GAN,公式为2-5。

接下里主要说ConvLSTM的结构，图1位LSTM的结构，图2位CNN的结构，两者一结合形成图3 convLSTM的结构。其中本文系统的生成器架构为图4所示，整个系统架构为图5所示。和WGANSing不同之处就是使用ConvLSTM替代CNN。

3 实验

本文和WGANSing做比较，在客观指标对比table1所示，CovLSTM好于WGANSing。在主观评测图6，图7和图8，CovLSTM也是好于WGANSing。

4 总结

本文主要提出了ConvLSTM(convolutional Long Short-term Memory)来优化WGANsing歌唱合成系统，使其客观和主观指标都得到提升。

欢迎关注微信公众号：低调奋进