Motiondirector:motion customization of text-to-video diffusion model

 

1.Introduction

        用户希望创建具有特定运动的视频，例如在预定义摄像机视角下，汽车向前移动然后左转，从文本到视频生成中定制运动。运动定制：给定表示运动概念的参考视频，目标是将预训练的基础模型转化为生成展现该特定运动的视频。定制扩散模型以生成所需运动而不损害其外观多样性是具有挑战的，因为运动和外观在逐步去噪阶段相互耦合。MotionDirector以解耦的方式调整基础模型，以学习给定单个或多个参考视频中的外观和动作，使用lora来调整模型，同时保持其预训练参数不变，保留学习的生成知识。

         仅部署训练好的时间lora使得基础模型能够生成具有多样化外观的学习动作的视频，如第二行所示，第三行，视频混合，motionDirector可以解