keywords
图片转视频、图片生成、First Order Motion、换头
在上一篇教程中,我们通过 AI 生成对象的图片,单纯的图片可能说服力不够,那在这一篇文章中,我们将会通过 AI 的能力,让图片动起来。
为了实现这个功能,我们主要依赖的模型是vox-256,这是一个让图片转视频的模型,感兴趣的可以参考更多细节Github,采用的First Order Motion,也就是一阶运动模型,来自 NeurIPS 2019 论文:「First Order Motion Model for Image Animation」
为了获得活灵活现的对象说唱视频,我们用上一个教程生成的图片以及训练好的模型文件,这里已经给大家打包好了,放在了 github 和 google colab
本次的 demo 图片和视频放在了文件夹 data 中,自己在使用中替换为自己的图片和视频即可。另外,需要提前将源代码[url]转存或者下载下来。
目录结构为
执行初始化相关代码,安装依赖以及获取相应的文件,这里是已经有了模型和依赖的包
执行完环境的初始化后,就可以执行图片转视频的过程
生成完毕后,需要添加音频到生成的视频中
好啦,从一张照片到视频的,我们就生成啦,最终的成果放在 github 中
到此为止,我们能够生成图片,以及将图片根据视频,生成对应的视频啦!