Generative Inbetweening: Adapting Image-to-Video Models for Keyframe Interpolation
本研究提出了一种新颖的关键帧插值方法,旨在生成符合自然运动轨迹的连续视频片段。我们适应了已经训练好的图像到视频扩散模型,使其新模型能够在两个输入关键帧之间插值,从而输出一段流畅的视频。该方法的关键在于,充分利用现有模型已学到的运动统计信息,而无需从零开始进行细致的训练。我们的工作展示了如何将一个从单个输入图像生成前向运动视频的模型,通过精简的微调技术,转化为能够生成反向运动视频的版本。与传统方法相比,这种方法在生成合乎逻辑的运动视频方面实现了显著的性能提升,为图像到视频生成领域的研究开辟了新的方向。
<