声明:语音合成论文优选系列主要分享论文,分享论文不做直接翻译,所写的内容主要是我对论文内容的概括和个人看法。如有转载,请标注来源。
欢迎关注微信公众号:低调奋进
Text2Video: Text-driven Talking-head Video Synthesis with Phonetic Dictionary
本文是Baidu Research, USA在2021.04.29更新的文章,主要工作为多模态的talking-head,把text转成video,具体的文章链接
https://arxiv.org/pdf/2104.14631.pdf
demo https://www.youtube.com/watch?v=d5MFzHxeOTs
(看了demo,感觉还是怪怪的~)
1 研究背景
目前talking-head主要采用方案主要分为speech2video和text2video。其中speech2video相较于text2video需要大量的训练数据,而且灵活性较低。本文也是text2video的方案,本文的方案具有需要的数据少,训练和推理速度快的有点。
2 详细设计
本文的架构如图1所示,先把text经过tts生成音频,然后通过alignment获取