-
Title: 3D Video Loops From Asynchronous Input
-
Affiliation: 香港科技大学
-
Authors: Li Ma, Xiaoyu Li, Jing Liao, Pedro V. Sander
-
Keywords: 3D video loops, multi-view videos, view consistency, temporal retargeting algorithms, real-time rendering.
-
Summary:
-
(1): 过去,研究者们已经提出了许多关于无缝循环视频的方法,但大部分的算法都局限于2D场景,而本文则致力于将其推广到3D赛上。
-
(2): 过去的方法大都面临着循环条件、时间花费以及局限于空间2D维度等问题,而本文则提出了一种新的3D视频循环表述方式,并针对异步多视角输入提出一个两阶段的可行性方案。研究者们通过采用视频时间重定向算法的循环损失,在3D场景中实现循环播放。与过去的方法相比,本文的提出的模型不仅视角一致,而且显著降低了内存使用量,使得4D模型不再具有难以实现的计算量。
-
(3): 本文为解决3D场景的异步循环问题提出了一种新的稀疏3D视频表达方式 —— 多瓦片视频,并在此基础上提出了两阶段乃至于实现视频循环所需的各个步骤。其中,为了实现3D循环,作者们采用了一个时间重定向算法,从而达到目前所能做到的优秀表现。
-
(4): 研究者们基于提出的多瓦片视频表达方式设计了一个3D视频循环系统,该系统可实时展现出相当真实而又生动的3D目标,尤其是在较低配置的移动设备上也可运行流畅。
-
-
Methods:
-
(1): 本文旨在构建一种视角一致的三维视频表达形式,可通过完全异步的多视角二维视频无限制循环。首先,介绍一种新的三维视频表示方法,即多瓦片视频(MTVs),并使用其优点提高了效率。然后提出了一个两阶段的流程,用于构建一个三维循环MTV。第一阶段初始化MTV并通过平铺过程进行删选。第二阶段则应用分析-合成方法以粗到细方式进行训练。其中,循环损失作为核心辅助优化MTV表达,既可以保证视频循环,又可以保留与输入的相似性。
-
(2): 该方法需应用多个异步视角拍摄的多个短视频作为输入。每个视频具有固定的相机姿态。算法以平均图像为基础,并处理成可编程的Loopable Mask。 本文提出一种基于MPI的MTV表示,采用RGB和alpha值为4通道并提取到3D数据中。MTV利用稀疏原理,将每个平面划分为不同的瓦片,每个瓦片存储低分辨率的色彩RGBA序列,从而降低内存需求。通过在3D场景中的每个瓦片进行掩蔽来剔除静态区域或垃圾区域,并翻卷动态区域来适应循环。重点训练MTV底层,实现低-高分控制并加入循环损失,使其实现3D视频不间断循环播放。
-
(3): 为了实现循环,本文中提出了采用视频时间重定向算法的循环损失,同时保持与输入视频的相似性。每次迭代都从MTV中提取3D视频区域进行比较,并计算使用Patch Nearest Neighbor和Bidirectional Similarity之间的损失,并以此为目标进行优化。
- Conclusion:
-
(1): 本研究的意义在于创新性地提出了一种可以处理3D场景的视频循环算法,实现了基于完全异步的多视角二维视频的3D循环。其应用将在3D场景的实时渲染、游戏开发等领域具有广泛的应用前景。
-
(2): 创新点:本文针对3D场景提出了一种稀疏3D视频表达方式,即多瓦片视频,并通过时间重定向算法实现了循环损失,使得算法能够实现3D视频循环播放。性能:与过去的方法相比,本文的模型不仅视角一致,内存使用量更低,使得4D模型具有更高的实用性。工作量:本文提供了一整套两阶段流程,对于循环播放3D视频的处理方式和流程进行了详细的理论和实验探究。然而,本文算法对于复杂的视角依赖效应处理能力相对较弱,同时假设场景具有循环模式,对于不具备循环特性的场景仍需进一步改进。