NeRF - 神经辐射场 原理分析与解释

标题：NeRF：Representing Scenes as Neural Radiance Fields for View Synthesis

顾名思义：通过NeRF 神经辐射场合成新视角来表达场景

这是一篇来源于伯克利大学的论文研究

摘要

论文提出了一种方法，可以通过优化一个连续体积场景函数来合成复杂场景的新视角，这个函数使用了一组稀疏的输入视图。算法用一个全连接的（非卷积）深度网络来表示场景，输入是一个连续的5D坐标（空间位置和观看方向）

输出是体积密度和在该空间位置依赖视角的发射辐射度。

通过查询5D坐标沿相机光线并使用经典体积渲染技术，将输出颜色和密度投影到图像中来合成视图。

由于体积渲染自然是可微分的，优化表示只需要一组有已知相机姿态的图像。

论文描述了如何有效优化神经辐射场以渲染具有复杂几何和外观的场景的新视角，并演示了结果优于以往的神经渲染和视角合成方法。

引言

讨论了视角合成的长期问题，并提出了通过直接优化一个连续的5D场景表示参数的方法来解决这个问题，以最小化一组捕获图像的渲染误差。

采用了一个深度全连接神经网络，没有卷积层，经常被称为多层感知器或MLP，来表示这个函数，通过从单个5D坐标回归到一个体积密度和视角依赖的RGB颜色。为了渲染这个所谓的神经辐射场（NeRF），方法涉及到从静态场景的连续5D函数中累积辐射度。

这种优化连续5D神经辐射场表示的方法，能够从一组输入图像生成任意连续位置场景的体积密度和视角依赖色彩。这个过程使用体积渲染技术沿着光线累积场景表示的样本，并将这些颜色和密度累积成2D图像。

由于这个过程是自然可微的&