介绍
图片动画主要的任务是将源图像的‘外表’提取出来和从驱动视频中提取出来的运动模式相结合。
本文和前任的最大区别是这个模型训练产生图像动画不需要网络有前置知识而仅仅依赖源图片和驱动视频进行生成,而且达到的效果是训练完成后对这一类物体(源图片)都可以达到较好的动画生成效果。
方法
目标是利用源图像S和相似图像运动的驱动视频D生成运动的S。
首先收集大量运动物体的视频,网络首先通过这系列视频提取出物体的关键点和局部变换。
第一步,通过关键点在视频中的轨迹得到局部变换。
第二部,通过一个密度运动网络得到D->S的光流场。
第三步,通过扭曲S得到运动图像。
文章名:
First Order Motion Model for Image Animation
百度ai studio:
https://aistudio.baidu.com/aistudio/education/group/info/1340