【AI论文】Reangle-A-Video：作为视频到视频转换的4D视频生成

摘要：我们提出了Reangle-A-Video，这是一个统一框架，能够从单个输入视频生成同步的多视角视频。不同于在大型4D数据集上训练多视角视频扩散模型的主流方法，我们的方法将多视角视频生成任务重新定义为视频到视频的转换，利用公开可用的图像和视频扩散先验知识。本质上，Reangle-A-Video分为两个阶段运作。（1）多视角运动学习：以自监督的方式同步微调一个图像到视频的扩散变换器，从一组变形视频中提炼出视角不变的运动信息。（2）多视角一致的图像到图像转换：在推理时，使用DUSt3R进行跨视角一致性指导，将输入视频的第一帧变形并补全为各种相机视角，生成多视角一致的起始图像。在静态视角传输和动态相机控制方面的广泛实验表明，Reangle-A-Video超越了现有方法，为多视角视频生成提供了一种新的解决方案。我们将公开发布我们的代码和数据。项目页面：Reangle-A-Video。Huggingface链接：Paper page，论文链接：2503.09151

研究背景和目的

研究背景

随着计算机视觉和深度学习技术的飞速发展，视频生成领域取得了显著进展。然而，传统的视频生成方法往往依赖于大规模的多视角视频数据集进行训练，这在现实应用中面临诸多挑战。首先，获取高质量的多视角视频数据成本高昂且困难重重；其次，这些方法通常局限于特定领域，如以人物为中心的合成，难以泛化到现实世界中的复杂场景。此外，大多数现有方法生成多视角视频时依赖于图像或文本输入，而非用户提供的视频输入，这限制了用户对生成视频内容的直接控制。

近年来，基于扩散模型的视频生成技术因其能够生成视觉丰富且动态的视频而备受关注。这些模型通过迭代去噪过程，从高斯噪声中生成清晰的图像或视频。然而，将扩散模型应用于多视角视频生成仍面临诸多技术难题，尤其是在不依赖大规模多视角数据集的情况下。

针对上述问题，本研究提出了Reangle-A-Video框架，旨在从单个输入视频生成同步的多视角视频，以满足用户在视频编辑、虚拟现实、增强现实等领域对多视角视频内容的需求。

研究目的

本研究的主要目的如下：

1. 提出一种统一框架：设计并实现Reangle-A-Video框架，该框架能够从单个输入视频生成同步的多视角视频，无需依赖任何多视角生成先验知识。
2. 实现多视角视频生成：通过该框架，实现静态视角传输和动态相机控制两种功能，前者能够重新模拟视频从目标视角拍摄的效果，后者能够使视频逐渐过渡到目标视角。
3. 提升生成视频的质量：确保生成的多视角视频在内容、视角一致性和动态效果上与输入视频高度一致，同时保持较高的视觉质量。
4. 公开代码和数据：将本研究的代码和数据公开，以供学术界和工业界进一步研究和应用。

研究方法

方法概述

Reangle-A-Video框架将多视角视频生成任务重新定义为视频到视频的转换问题，利用公开可用的图像和视频扩散先验知识。该框架主要分为两个阶段：多视角运动学习和多视角一致的图像到图像转换。

具体方法

1. 多视角运动学习

   • 数据增强：为了从单个单目视频中捕捉多样化的视角，我们首先对输入视频进行基于点的变形，生成一组变形视频。这些变形视频与原始视频一起构成训练数据集，用于微调预训练的图像到视频扩散模型。
   • 模型微调：采用自监督的方式，同步微调预训练的图像到视频扩散变换器。通过引入掩码扩散损失，排除不可见区域的损失计算，从而有效地从变形视频中提炼出视角不变的运动信息。

2. 多视角一致的图像到图像转换

   • 图像变形与补全：将输入视频的第一帧变形为各种相机视角，并使用图像扩散先验进行补全。在推理时，采用DUSt3R进行跨视角一致性指导，确保生成的起始图像在多视角之间保持一致。
   • 随机控制引导：在图像补全过程中，我们提出了一种随机控制引导方法。通过生成多个候选版本，并计算它们与先前补全图像之间的多视角一致性得分，选择得分最高的候选版本作为下一步的输入。这一过程重复进行，直到补全完成。

研究结果

定性结果

在静态视角传输和动态相机控制方面，Reangle-A-Video均取得了显著的效果。与基线方法相比，Reangle-A-Video能够更准确地捕捉输入视频的运动信息，并在目标视角下重新模拟视频内容。同时，在动态相机控制方面，Reangle-A-Video能够精确地跟随目标相机运动，同时保持输入视频的内容和动态效果。

定量结果

我们使用自动评估指标（如VBench、FID、FVD等）和人工评估来验证Reangle-A-Video的性能。实验结果表明，在大多数评估指标上，Reangle-A-Video均优于基线方法。特别是在静态视角传输和动态相机控制模式下，Reangle-A-Video在保持输入视频运动一致性、视角一致性和视觉质量方面表现出色。

新颖视角视频生成

我们还展示了Reangle-A-Video在未见视角和新颖视角视频生成方面的能力。通过排除特定变形视角视频进行训练，并在推理时使用补全的第一帧作为输入，Reangle-A-Video能够生成未见视角的视频。此外，通过修改补全的第一帧并使用FlowEdit进行编辑，Reangle-A-Video还能够生成新颖视角的视频。这些结果表明，Reangle-A-Video具有强大的泛化能力和灵活性。

研究局限

尽管Reangle-A-Video在多视角视频生成方面取得了显著成果，但仍存在一些局限性：

1. 图像质量依赖：输入图像的质量对图像到视频生成的结果至关重要。由于输出视频的质量不能超过第一帧的质量，因此提高输入图像的质量是提升生成视频质量的关键。
2. 深度估计误差：Reangle-A-Video依赖于基于点的变形来捕捉多视角信息，而这一过程受到深度估计误差的影响。不准确的深度估计可能导致几何错位和深度不一致问题。
3. 场景特异性模型调优：为了实现4D视频合成，需要对场景特异性模型进行调优。这增加了模型应用的复杂性和成本。

未来研究方向

针对上述局限性，未来研究可以从以下几个方面展开：

1. 提高深度估计精度：采用更先进的深度估计方法和技术，提高深度估计的准确性和鲁棒性。这将有助于减少几何错位和深度不一致问题，从而提升生成视频的质量。
2. 开发通用模型：研究如何训练一个通用的多视角视频生成模型，减少场景特异性模型调优的需求。这将降低模型应用的复杂性和成本，提高模型的实用性和普及性。
3. 拓展应用场景：将Reangle-A-Video框架应用于更多实际场景，如虚拟现实、增强现实、视频编辑等。通过不断优化和改进模型，满足不同应用场景对多视角视频内容的需求。
4. 结合其他技术：探索将Reangle-A-Video框架与其他先进技术（如自然语言处理、计算机图形学等）相结合的可能性。通过跨学科合作和技术融合，推动多视角视频生成技术的创新和发展。

总之，Reangle-A-Video框架为多视角视频生成提供了一种新的解决方案，具有广泛的应用前景和研究价值。未来研究将继续深入探索该领域的技术难题和应用潜力，推动多视角视频生成技术的不断发展和进步。