【CVPR 2022】NeRF in the Dark: High Dynamic Range View Synthesis from Noisy Raw Images

论文简介：

神经辐射场（NeRF）是一种技术，从高质量的新观点合成的姿态输入图像的集合。与大多数视图合成方法一样，NeRF 使用调制的映射低动态范围（LDR）作为输入；这些图像经过一个有损的摄像机管道处理，可以平滑细节、剪辑高光，并扭曲原始传感器数据的简单噪声分布。

本文中作者修改了 NeRF，直接对线性原始图像进行训练，保持场景的全动态范围。通过从生成的 NeRF 中渲染原始输出图像，我们可以执行新的高动态范围（HDR）视图合成任务。

虽然单张原始图像比后处理图像的噪声明显更大，但作者表明 NeRF 对原始噪声的零级分布具有很强的鲁棒性。当在许多有噪声的原始输入（25-200）上进行优化时，NeRF 产生的场景表示非常精确，以至于其渲染的新视图优于在专用的单图像和多图像上运行的相同宽基线输入图像的深度原始去噪器。因此，作者将提出的方法称为 RawNeRF，因为它可以从在接近黑暗中捕获的极其嘈杂的图像中重建场景。

论文介绍：

视图合成方法，如神经辐射场（NeRF），通常使用低动态范围（LDR）图像作为输入，并直接重建和渲染 LDR 空间中场景的新视图。这对于光线充足且不包含大亮度变化的场景来说没有问题，因为可以使用一个固定的相机曝光设置以最小的噪声捕捉它们。

然而，这没考虑许多常见的拍摄场景：在夜间或除最亮的室内空间以外的任何地方拍摄的图像将具有较差的信噪比，而具有日光和阴影区域的场景具有极端的对比度，需要高动态范围（HDR）来准确表示。