CVPR2023新作：3D场景的视频循环算法

1. Title: 3D Video Loops From Asynchronous Input

2. Affiliation: 香港科技大学

3. Authors: Li Ma, Xiaoyu Li, Jing Liao, Pedro V. Sander

4. Keywords: 3D video loops, multi-view videos, view consistency, temporal retargeting algorithms, real-time rendering.

5. Summary:

   • (1): 过去，研究者们已经提出了许多关于无缝循环视频的方法，但大部分的算法都局限于2D场景，而本文则致力于将其推广到3D赛上。

   • (2): 过去的方法大都面临着循环条件、时间花费以及局限于空间2D维度等问题，而本文则提出了一种新的3D视频循环表述方式，并针对异步多视角输入提出一个两阶段的可行性方案。研究者们通过采用视频时间重定向算法的循环损失，在3D场景中实现循环播放。与过去的方法相比，本文的提出的模型不仅视角一致，而且显著降低了内存使用量，使得4D模型不再具有难以实现的计算量。

   • (3): 本文为解决3D场景的异步循环问题提出了一种新的稀疏3D视频表达方式 —— 多瓦片视频，并在此基础上提出了两阶段乃至于实现视频循环所需的各个步骤。其中，为了实现3D循环，作者们采用了一个时间重定向算法，从而达到目前所能做到的优秀表现。

   • (4): 研究者们基于提出的多瓦片视频表达方式设计了一个3D视频循环系统，该系统可实时展现出相当真实而又生动的3D目标，尤其是在较低配置的移动设备上也可运行流畅。

6. Methods:

• (1): 本文旨在构建一种视角一致的三维视频表达形式，可通过完全异步的多视角二维视频无限制循环。首先，介绍一种新的三维视频表示方法，即多瓦片视频(MTVs)，并使用其优点提高了效率。然后提出了一个两阶段的流程，用于构建一个三维循环MTV。第一阶段初始化MTV并通过平铺过程进行删选。第二阶段则应用分析-合成方法以粗到细方式进行训练。其中，循环损失作为核心辅助优化MTV表达，既可以保证视频循环，又可以保留与输入的相似性。

• (2): 该方法需应用多个异步视角拍摄的多个短视频作为输入。每个视频具有固定的相机姿态。算法以平均图像为基础，并处理成可编程的Loopable Mask。 本文提出一种基于MPI的MTV表示，采用RGB和alpha值为4通道并提取到3D数据中。MTV利用稀疏原理，将每个平面划分为不同的瓦片，每个瓦片存储低分辨率的色彩RGBA序列，从而降低内存需求。通过在3D场景中的每个瓦片进行掩蔽来剔除静态区域或垃圾区域，并翻卷动态区域来适应循环。重点训练MTV底层，实现低-高分控制并加入循环损失，使其实现3D视频不间断循环播放。

• (3): 为了实现循环，本文中提出了采用视频时间重定向算法的循环损失，同时保持与输入视频的相似性。每次迭代都从MTV中提取3D视频区域进行比较，并计算使用Patch Nearest Neighbor和Bidirectional Similarity之间的损失，并以此为目标进行优化。

7. Conclusion:

• (1): 本研究的意义在于创新性地提出了一种可以处理3D场景的视频循环算法，实现了基于完全异步的多视角二维视频的3D循环。其应用将在3D场景的实时渲染、游戏开发等领域具有广泛的应用前景。

• (2): 创新点：本文针对3D场景提出了一种稀疏3D视频表达方式，即多瓦片视频，并通过时间重定向算法实现了循环损失，使得算法能够实现3D视频循环播放。性能：与过去的方法相比，本文的模型不仅视角一致，内存使用量更低，使得4D模型具有更高的实用性。工作量：本文提供了一整套两阶段流程，对于循环播放3D视频的处理方式和流程进行了详细的理论和实验探究。然而，本文算法对于复杂的视角依赖效应处理能力相对较弱，同时假设场景具有循环模式，对于不具备循环特性的场景仍需进一步改进。