SimDA: Simple Diffusion Adapter for Efficient Video Generation学习笔记

---

motivation： 现有的T2V模型要么从头开始训练，或将大型T2I模型适应视频，需要大量计算资源和数据
contribution： 设计轻量级spatial and temporal adapters（空间和时间适配器）进行迁移学习；将原始spatial attention（空间注意力）更改为所提出的 Latent-Shift Attention (LSA)，以实现时间一致性。

method

提出三个模块：Spatial Adapter、Temporal Adapter、Latent-Shift Attention
Spatial Adapter：利用视频生成领域的空间信息，分为Attention Adapter 和 FFN Adapter，结构：两个全连接层中间一个激活层
Temporal Adapter：建模时间信息
以前的方法结合了时间卷积或temporal attention modules（时间注意模块）来捕获时间关系。具有大量参数和高维输入特征，导致计算量和训练成本显着。
时间适配器模块采用深度卷积而不是中间激活层
Latent-Shift Attention：实现时间一致性
除了考虑当前帧中的标记外，我们进一步沿时间维度进行补丁级移位操作，以将标记从前面的 T 帧转移到当前帧上，从而组成一个新的潜在特征帧

$$\begin{array}{rlrl}& \mathbf{Q}={\mathbf{W}}_{\mathrm{q}}(x_{z_i}),& & \text{(6)}\\ & \mathbf{K}={\mathbf{W}}_{\mathrm{k}}[x_{z_i},x_{z_{shift}}],& & \left(7\right)\\ & \mathbf{V}={\mathbf{W}}_{\mathrm{v}}[x_{z_i},x_{z_{shift}}],& & \left(8\right)\end{array}$$

experinment

与其他方法的比较

Ablation study

temporal adapter

依赖temporal attention modeling（时间注意建模）的方法(如Tune-A-Video[100])相比，temporal adapter（时间适配器）更轻量级，并获得了更好的编辑结果

TA：Temporal Adapter
SA：Spatial Adapter
AA：Attention Adapter
FA：FFN Adapter
LSA：Latent-shift Attention