W.A.L.T阅读笔记【文生视频模型】

原创

已于 2024-02-04 17:53:02 修改 · 2.2k 阅读

54 ·

CC 4.0 BY-SA版权

文章标签：

#笔记 #人工智能 #AIGC #视频 #计算机视觉 #深度学习 #神经网络

于 2024-01-25 18:30:00 首次发布

W.A.L.T是一个由Stanford、Google Research和Georgia Tech提出的创新模型，它使用Transformer和扩散建模生成逼真的视频。通过因果编码器将图像和视频联合压缩到统一潜在空间，利用窗口注意力架构增强记忆力和训练效率。在UCF-101、Kinetics-600和ImageNet上实现了最佳性能，并且能够生成3D一致性的360度视频。

1. 基本信息

题目：Photorealistic Video Generation with Diffusion Models
时间：2023.12
发表：暂无
机构：Stanford; Google Research; Georgia Institute of Technology
作者：Agrim Gupta等
链接直达：paper/project
关键词：AIGC，text-to-video, img-to-video
概括：基于Transformer的方法，文生视频。
摘要翻译：我们介绍了W.A.L.T，这是一种基于Transformer的方法，通过扩散建模生成逼真的视频。我们的方法有两个关键的设计决策。首先，我们使用causal encoder在一个统一的潜在空间内联合压缩图像和视频，从而实现跨模态的训练和生成。其次，为了提高记忆力和训练效率，我们使用为空间和时空联合生成建模量身定制的window attention architecture。总而言之，这些设计决策使我们能够在已建立的视频（UCF-101 和 Kinetics-600）和图像（ImageNet）生成基准测试上实现最先进的性能，而无需使用无分类器的指导。最后，我们还训练了三个模型的级联，用于文本到视频的生成任务，包括一个基本的潜在视频扩散模型和两个视频超分辨率扩散模型，以每秒 8 帧的速度生成 512 × 896 分辨率的视频。