- CUHK&Tencent&HKUST TVCG2024
- https://github.com/AILab-CVC/Make-Your-Video
- 问题引入
- text&motion stucture(例如深度图序列) guided video generation;
- methods
- text控制:cross attn;
- depth控制:和noised latents concat都一起作为输入;
- 时序模块:spatial-temporal residual block&temporal transformer,在训练的时候只训练新加入的时序模块;
- 在生成长视频的时候质量显著下降:Temporal Masking for Longer Video Synthesis,temporal attention的计算: F t = A t t e n t i o n ( Q t , K t , V t ) = s o f t m a x ( Q t K t T d + M ) V t F_t = Attention(Q_t,K_t,V_t)=softmax(\frac{Q_tK_t^T}{\sqrt{d}} + M)V_t Ft=Attention(Qt,Kt,Vt)=softmax(dQtKtT+M)Vt,其中 M M M是一个下三角矩阵 M i , j = 0 i f i > j e l s e − ∞ M_{i,j}=0\ if\ i > j\ else\ -\infty Mi,j=0 if i>j else −∞;
- 实验
- 使用stable-diffusion-depth加入新的时序模块;
- 数据使用webvid-10M;