不需要COLMAP的3DGS投影？

论文标题：COLMAP-Free 3D Gaussian Splatting

论文作者：Yang Fu, Sifei Liu, Amey Kulkarni, Jan Kautz, Alexei A. Efros, Xiaolong Wang

导读：
本文介绍了一种新的神经渲染方法，用于在不需要预先计算相机参数的条件下进行场景重建和新视角合成。该方法基于最近提出的3D高斯投影技术，利用了其显式的点云表示和输入视频流的时间连续性。该方法可以在按顺序处理输入帧的同时，逐渐增加3D高斯集合，从而实现了对大运动变化的场景的高效和真实的渲染。该方法在视角合成和相机姿态估计方面显著优于先前提出的方法。©️【深蓝AI】编译

1. 问题引入

随着神经辐射场（NeRFs）的兴起，照片级真实感场景重建和视角合成领域取得了明显的进步。训练NeRFs的一个关键步骤是为每张输入图像预先计算相机姿态。这通常是通过运行Structure-from-Motion（SfM）库COLMAP来完成的。然而，这种预处理不仅耗时，而且由于特征提取错误的敏感性以及处理单调或重复区域的困难，也可能会失败。

最近的一些研究希望通过将姿态估计纳入NeRF框架，来减少对SfM的依赖。同时进行3D场景重建和相机定位一直是计算机视觉领域的一个难题。在NeRF及其隐式表示的背景下，这个问题变得更加复杂，因为优化过程通常增加额外的约束。例如，BARF要求初始姿态与真实姿态接近（在15°内），NeRFmm主要适用于正面场景。最新的Nope-NeRF需要很长的训练时间（30小时），在相机姿态变化很大的情况下（例如360度）效果不佳，如图1的上面两张图所示。本质上，NeRFs是通过更新从相机位置发出的射线投影来间接地优化相机参数，这使得优化变得具有挑战性。

▲图1｜新视角合成和相机姿态估计的比较。我们提出的无需COLMAP的3D高斯投影（CF-3DGS）在不依赖已知相机参数的情况下实现了更稳定的姿态估计和更优的新视角合成质量。©️【深蓝AI】编译

2. 方案提出

最近，3DGS投影方法被提出，通过采用点云表示扩展了NeRF中的体素渲染。虽然最初的想法是使用预先计算的相机参数的，但我们发现它为在没有SfM预处理的情况下，进行视角合成提供了一个新的方向。为此，本文提出了不需要COLMAP的3DGS投影（CF