视频扩散模型版本DreamBooth：详细解读MotionBooth

Diffusion Models视频生成

前言：Dreambooth、LoRA、Adapter是图像扩散模型微调的三剑客，在之前的博客中详细解读过原理和代码。现在来到了视频生成的时代，本篇博客介绍微调视频扩散模型的利器，对标DreamBooth的MotionBooth。

目录

贡献概述

方法

概述

定制化概念学习

物体运动控制

相机运动控制

实验

对比实验

消融性实验

---

贡献概述

根据定制主题生成视频的研究在近期备受关注。这种定制生成领域源于文本到图像（T2I）生成方法，从几张图像中学习主体的外观，并生成该主体的各种图像。主题驱动的文本到视频（T2V）生成方法越来越受到关注，并在个人短片或电影制作中得到了广泛应用，然而这是一项极具挑战性的任务。

任务通常涉及主体学习和运动注入，同时还要保持生成能力，以生成不同的场景。VideoBooth 训练图像编码器将主体的外观嵌入模型，