港大、阿里提出图生视频新方法LivePhoto, 让真实图片根据你的指令动起来!你说咋动就咋动
仅需一句文本指令,让LeCun竖起大拇指,让埃菲尔铁塔放起烟花,让完好的蜡烛迅速烧完,给镜头换一个视角。港大、阿里提出图生视频新方法LivePhoto, 让真实图片根据你的指令动起来!LivePhoto能很好的保持参考图片的细节,精准跟随文本指令,生成大幅度运动的视频。在与当下爆火的Pikalabs和GEN-2的对比中,LivePhoto展现出更强的运动控制能力。
论文:LivePhoto: Real Image Animation with Text-guided Motion Control
项目主页:https://xavierchen34.github.io/LivePhoto/
论文链接:https://arxiv.org/abs/2312.02928
效果展示
LivePhoto将用户给定的图像作为生成视频的第一帧, 以文本描述为运动依据生成对应的视频。如下图,给定一张LeCun的经典照片,用户仅需输入文本指令可以就让lecun做出“微笑”,“点赞”,和“喝啤酒”的动作。简直表情包生成神器!
与此同时 LivePhoto支持用户对运动强度进行调整。给定相同的参考图片和文本指引,不同的运动强度可能产生不同的视频效果。如下图,提升运动强度后,微笑的幅度有了明显的变化,点赞也从一个大拇指变成了双手赞同。
方法
GEN-2, Pikalabs等图生视频方法可以生成丝滑流畅的内容,虽然他们都支持文本输入,但是文本对于视频内容的控制能力无法让人满意。LivePhoto着力于研究如何在保持参考图像细节id的同时,生成听从文本指引的内容。
我们首先提出内容参考模块,让模型能够参考给定图像的内容生成视频。在此基础上,我们分析文本控制之所以难以完成有如下两个原因:
1)本文信号不足以很好的描述运动。给定相同的参考图片和文本指引,在运动强度不同的情况下,可以对应差异很大的视频内容,造成“文本-运动”对齐的困难。由此,我们引入运动强度控制作为文本描述的补充,将学习“文本-运动”的对齐转化为学习 “文本+强度-运动”的对齐。
2)文本信号同时包含内容和运动描述。而Stable Diffusion翻译的内容描述会和给定的参考图片产生冲突。在学习的过程中,模型倾向于从参考图像获取信号,忽略文本信号。针对这一难题,我们对文本信号进行“重加权”,突出运动描述,减少文本中内容描述与参考图像的冲突。是得文本和图像条件实现互补。
如上图所示,由最基础的文生图模型Stable Diffusion出发。LivePhoto首先在UNet的层间加入运动学习模块使其具备文生视频的能力。在此基础上,我们从“图像内容参考”,“运动强度指引”和“文本重加权”三个方面开展研究。
图像内容参考:我们从三个方面保持参考图像的内容细节。首先我们将参考图像的latent feature与UNet的输入噪声进行拼接,提供像素层面指引。此外我们使用一个Image Encoder提取图像的高层token, 通过交叉注意力注入UNet。在测试时,我们使用参考图像对初始噪声进行加权,提供内容先验。
运动强度指引:为了更好的刻画视频运动,我们将运动强度信息编码成为条件提供更好的指引。我们将运动强度分为十个等级,每个等级对应一个Embedding与UNet的输入噪声进行拼接。训练时,我们用相邻帧间SSIM的平均值对给定视频的运动强度进行估计,并将运动强度的数值分档。测试时,用户可以方便的条件运动强度,或者使用默认值。
文本重加权:为了强调文本中的运动描述,我们设计了文本重加权模块。该模块由三层transformer layer, 一层线性层,一层sigmoid激活函数组成,对每一个CLIP text embedding预测一个权重,并且将该权重与CLIP embedding相乘。该结构保留了CLIP的语义空间,不会破坏模型的泛化能力。
效果对比
在与当下爆火的Pikalabs以及GEN-2的对比中,LivePhoto不落下风,甚至展示出了更强的文本控制能力。如下图,在驱动角色运动的示例中,LivePhoto在保持参考目标的id属性以及文本控制运动的准确性上展示出了明显优势。
除了常规的动作驱动,LivePhoto还具备“无中生有”的能力,比如:模拟火山喷发的效果,让静谧的天空出现电闪雷鸣,让静止的草垛着火等等。在无中生有方面,LivePhoto展示出的能力明显优于之前的算法。
展望:LivePhoto 展示出了优越的可控生成能力,为表情包和制作短片生成等应用提供了可能。未来我们将继续提升生成视频的分辨率,迈向高清、可控的视频生成。