本文介绍了ACM MM2020发表的一项研究，提出了一种AI模型，能够实现音频与视频人物嘴型的完美匹配。通过预训练模型，可以将任意音频与视频进行唇形同步，适用于多国语言电影制作和虚拟主播等领域。文章提供了源码和使用技巧，包括调整人脸边界框、选择合适分辨率等，以优化结果。
这是由ACM MM2020发表了的一篇论文，提出一个AI模型，只需要一段人物视频和一段目标语音，就能够让音频和视频合二为一，人物嘴型与音频完全匹配。
【订阅栏目 获取全部的源码方案】
选一张蒙娜丽莎的照片和一段简短的音频，就可以让嘴唇同步，这是静态的照片，所以照片中的人物头部没有任何动作，它还能让视频中的人物与输入的音频同步。我们来看一段视频吧。
其实它的应用非常广，比如好莱坞可以用它来制作多国语音的电源，毫无违和感。然后最近流行的虚拟主播，也是广泛的使用嘴型同步。这个源码它就是通过训练模型，然后将wav匹配到不同的嘴型。
先决条件
Python 3.6- ffmpeg：
sudo apt-get
订阅专栏 解锁全文
扫一扫
6245
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
