CV每日论文--2024.5.21

1、Gaussian Splatting: 3D Reconstruction and Novel View Synthesis, a Review

中文标题：高斯泼溅：3D 重建和新颖的视图合成综述

简介：图像三维重建是一个具有挑战性的研究领域,需要从一组输入图像中推断出物体或场景的三维形状。基于学习的方法因其直接估计三维形状的能力而受到广泛关注。

本篇综述论文聚焦于最新的三维重建技术,特别是可生成新颖、未见过的视角的方法。文章提供了基于高斯光晕法的三维重建技术的最新进展概述,包括输入类型、模型结构、输出表示和训练策略等关键要素。

同时,文章也讨论了该领域仍存在的未解决挑战以及未来的研究方向。鉴于三维重建技术的快速发展以及增强三维重建能力的广泛应用前景,对相关算法的全面梳理和分析显得尤为必要。

因此,本研究旨在提供基于高斯光晕法的三维重建技术最新进展的综合概述,以期为该领域的持续发展提供参考和启发。

2、4D Panoptic Scene Graph Generation

中文标题：4D全景场景图生成

简介：我们生活在一个三维空间之中,并通过第四维时间不断向前推进。为了使人工智能能够全面理解这样一个四维环境,我们提出了4D全景场景图(PSG-4D)的表示方法。

PSG-4D旨在连接动态4D世界中感知到的原始视觉数据和高层次的视觉理解。具体来说,它将丰富的4D感知数据抽象为具有精确位置和状态信息的节点,以及捕捉时间关系的边缘。

为了促进这一新兴研究领域,我们构建了一个包含3K个RGB-D视频、总计1M帧的丰富PSG-4D数据集,每帧都有4D全景分割掩模和精细的动态场景图标签。

针对这一数据集,我们提出了PSG4DFormer - 一种基于Transformer的模型,可以预测全景分割掩模、跟踪掩模的时间变化,并通过关系组件生成相应的场景图。广泛的实验表明,我们的方法可以作为未来PSG-4D研究的强大基线。

最后,我们还展示了一个将大型语言模型集成到PSG-4D系统中以实现动态场景理解的实际应用案例。总的来说,这项工作为探索四维视觉环境理解提供了新的思路和基础。

3、From NeRFs to Gaussian Splats, and Back

中文标题：从 NeRF 到高斯 Splats 以及返回

简介：在机器人应用中,通常只有有限的（以自我为中心的）视角数据可用。此时,参数化表示方法如神经辐射场(NeRFs)比非参数化的高斯散点插值(GS)方法更能推广到与训练数据大不相同的视角。然而,GS方法的渲染速度要快得多。

为了兼顾两种方法的优势,我们开发了一种在NeRFs和GS之间进行转换的方法。这种方法既具有NeRFs在不同视角上的更高PSNR、SSIM和LPIPS性能,以及更紧凑的表示优势,又具有GS实时渲染和易于修改表示的优势。重要的是,这种转换的计算成本远低于从头开始训练这两种方法。

这种转换方法可以让机器人应用中受限视角数据的建模受益于NeRFs的高泛化能力,同时又能利用GS的高效渲染特性。这种折衷方案为提高机器人感知和理解能力提供了新的可能性。