长视频生成研究的挑战、方法与前景

人工智能咨询培训老师叶梓 转载标明出处

长视频生成面临的主要挑战包括如何在有限的计算资源下生成长时间、高一致性、内容丰富且多样化的视频序列。另外现有研究中对于“长视频”的定义并不统一，这给研究的标准化和比较带来了困难。来自西安电子科技大学、上海交通大学、悉尼大学等机构的研究者提出，将视频长度超过10秒或包含超过100帧的视频定义为“长视频”，为后续研究提供了一个清晰的基准，图 1 “研究中长视频长度定义概览” 汇集了51项研究对长视频长度的定义，展示了不同的标准。其中，有29项研究提供了具体的长度标准：7项以视频持续时间来定义，22项以帧数来定义。剩余的研究则没有明确指出视频的具体长度。本文还系统地回顾了长视频生成领域的最新研究进展，并提出了未来可能的发展方向。

图 2 为长视频生成技术的发展提供了一个时间线，长视频生成技术随时间的演进，包括不同的生成模型如扩散模型、空间自回归模型、生成对抗网络（GAN）和掩模建模，以及两种主要的长视频生成范式：分而治之和时序自回归。

长视频生成基础技术

扩散模型 采用迭代细化过程，从一系列随机噪声开始，逐步去噪以生成连贯的视频序列。每一步都由学习到的梯度引导，这些梯度基于单帧的空间内容和连续帧之间的时间关系进行预测性去噪。这种方法允许生成的视频不仅在视觉上与前一帧保持一致，还有助于整个序列的流畅性。

空间自回归模型 通过基于补丁的方法合成内容，每个补丁的创建都依赖于与之前生成的补丁的空间关系。这个过程类似于递归算法，一次生成一个补丁，从而逐帧构建视频，直到完成。在此框架内，补丁之间的空间关系至关重要，因为每个后续补丁都必须与相邻补丁无缝对齐，以确保整个帧的视觉连贯性。

生成对抗网络（GAN） 在视频生成中，从生成器开始，将简单的噪声模式转化为视频帧序列。这种噪声本质上是随机的，作为视频制作初始的空白状态。通过神经网络层，生成器逐渐将这种噪声塑造成看起来像视频帧的图像，确保每一帧都逻辑上跟随前一帧，从而创造出平滑的动作和可信的叙事。从噪声到视频的演变通过来自鉴别器的反馈进行优化，鉴别器是一个判断生成视频看起来真实或虚假的组件。生成器从这一判断中学习，随着时间的推移