仅仅需要一张图片加上动作轨迹,就可以生成非常自然且丝滑的视频,无论是钢铁侠跳舞还是奥特曼跑步都可以轻轻松松的制作出来,并且没有闪烁衣服上面的褶皱,周围物体上的光线反应,可以说是做的非常完美。
但是阿里并没有发布具体的操作流程和项目测试,这个项目很快就被字节跳动秒杀了。字节跳动提供了代码和具体的演示,不仅支持把静态的图片变成有动作的视频,而且还可以结合文本生成动画,还支持多人照片实现动作驱动,简直是太秀了。
并且发布了colab和hugging face的在线体验版本,无需本地部署就可以体验到最新的研究成果。
今天我们就一起来看看字节跳动发布的magic animate。
本文主要分为三个部分:
一、magic animate的一些简单介绍
二、magicanimate的操作演示
三、动作轨迹视频的制作方法
一.magic animate的一些简单介绍
字节跳动发布的magic anim magic anim是一个基于扩散模型的人类图像动画框架,意在强调时间一致性,忠实保留参考图像并提高动画的真实感,可以在推理的过程中产生平滑的视频。
除了基本的图像动画化,Magic anim还能应用于更多的场景,如将未见领域的图像,例如油画或电影角色动画化。或者结合文本描述生成动画。