【CVPR 2021】无约束生成 - NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections

论文简介：

本文提出了一种基于学习的方法，仅使用非结构化的野外照片集合合成复杂场景的新视图。在神经辐射场（NeRF）的基础上，本文的方法使用一个多层感知器的权重作为一个三维坐标的函数，来模拟一个场景的密度和颜色。虽然 NeRF 在受控设置下捕获的静态主题的图像上表现得很好，但它无法在不受控设置的图像中建模许多普遍存在的真实现象，如可变照明或瞬态遮挡。

为了解决这个问题，本文引入了一系列的 NeRF 扩展来解决这些问题，从而能够从从互联网上获取的非结构化图像集合中进行精确的重建。作者将该系统称为 NeRF-W，应用于著名地标的互联网照片收藏，并展示了时间上一致的新视图渲染，这明显比之前的技术状态更接近摄影现实主义。

论文介绍：

从稀疏捕获的图像中合成场景的新视图是计算机视觉中长期存在的问题，也是许多 AR 和 VR 应用的先决条件。虽然经典的技术已经使用运动结构或基于图像的渲染解决了这个问题，但由于神经渲染技术，该领域最近取得了重大进展——基于学习的模块嵌入到三维几何环境中，并经过训练来重建观察到的图像。神经辐射场（NeRF）方法用神经网络的权值来模拟场景的辐射场和密度。然后使用体积渲染来合成新的视图，在一系列具有挑战性的场景上展示了迄今为止前所未有的保真度水平。

但是 NeRF 能够表现良好的先