Snap Video：用于文本到视频合成的扩展时空变换器

人工智能咨询培训老师叶梓 转载标明出处

图像生成模型的质量和多功能性的显著提升，研究界开始将其应用于视频生成领域。但是视频内容高度冗余，直接将图像模型技术应用于视频生成可能会降低运动的保真度和视觉质量，并影响可扩展性。来自 Snap 的研究团队及其合作者提出了 "Snap Video"，这是一个以视频为中心的模型，系统地解决了这些挑战。它扩展了EDM（Energetic Diffusion Model）框架，以考虑空间和时间冗余像素，并自然支持视频生成。另外，由于U-Net在生成视频时扩展性差，需要显著的计算开销。因此本文还提出了一种新的基于变换器的架构，其训练速度比U-Nets快3.31倍（在推理时大约快4.5倍）。这使本模型能够首次高效地训练具有数十亿参数的文本到视频模型，达到一系列基准测试的最新结果，并生成质量更高、时间一致性和运动复杂性显著的视频。用户研究表明，本模型在文本对齐和运动质量方面比其他最新方法更受好评。

本方法产生的样本
这些样本展示了生成器能够合成具有大运动的暂时连贯视频（左侧），同时保留大规模文本到视频生成器的语义控制能力（右侧）

方法

EDM 通过模拟一个数据生成的随机过程，其中数据样本逐渐被噪声所覆盖，这个过程称为前向扩散过程。在这个过程中，噪声水平由一个扩散时间步长 σ 来控制，它与噪声的标准差相对应。随着噪声的逐步增加，数据样本从原始状态逐渐转变为高噪声状态。

与此相对的是一个学习到的去噪器，它执行一个逆向过程，即从噪声数据中逐步去除噪声，恢复出清晰的数据样本。这个过程称为反向扩散过程，去噪器 Dθ 通过最小化去噪后样本与原始数据之间的差异来进行训练。去噪目标函数 L(Dθ) 定义了去噪器的性能，它通常以去噪后样本与原始样本之间的均方误差为基础。

对于高分辨率视频生成，EDM 框架面临的挑战是：视频数据帧之间的高度冗余，如果直接应用图像生成模型的方法在视频生成时可能导致运动的保真度降低和视觉质量下降。为了解决这个问题，研究者对 EDM 框架进行了扩展和修改ÿ