51-46 MCDiff，可控视频合成的运动条件扩散模型

23年4月，加州大学、Nvidia、Meta和Google联合发布了MCDiff模型。这是继DragNUWA之后，咱们介绍的第二篇Motion-guiding类视频生成模型。

Abstract

扩散模型的最新进展极大地提高了合成内容的质量和多样性。为了利用扩散模型的表达能力，研究人员探索了各种可控机制，允许用户直观地指导内容合成过程。尽管最新的努力主要集中在视频合成上，但缺乏有效的方法来控制和描述所需内容和动作。为了应对这一差距，我们引入了 MCDiff，这是一种条件扩散模型，它从一帧图像和一组笔画开始生成视频，允许用户指定用于合成的预期内容和动态。为了解决稀疏运动输入的模糊性，获得更好的合成质量，MCDiff首先利用流补全模型flow completion model根据视频帧的语义理解和稀疏运动控制来预测稠密视频运动。然后，扩散预测模型G合成高质量的未来帧，形成输出视频。我们定性和定量地证明了MCDiff在笔画引导的可控视频合成中实现了最先进的视觉质量。MPII人体姿势的其他实验进一步展示了我们的模型在不同内容和运动合成方面的能力。