Latent-Shift: Latent Diffusion with Temporal Shift for Efficient Text-to-Video Generation学习笔记

motivation：
t2v两个挑战：缺乏大规模高质量文本视频数据、时间维度建模较为复杂
基于像素的t2v需要妥协，先生成低分辨率视频，然后超分插帧
contribution：
提出 a parameter-free temporal shift module（无参数的时间偏移模块）

method

temporal shift

将相邻信息与当前帧混合来处理空间和时间信息

$Z\in {\mathbb{R}}^{C\times F\times H\times W}$为输入，$Z_i\in {\mathbb{R}}^{C\times H\times W}$表示第$i$帧，沿通道维度分解为$Z_i^1$、$Z_i^2$、$Z_i^3$，其中$Z_i^j\in {\mathbb{R}}^{\frac{C}{3}\times H\times W}$
第$i$帧输出如下：

temporal shift模块加在2D ResNet block模块中。

experiments