数字人模型NeRF的技术理论与模型训练

NeRF（Neural Radiance Fields）属于生成式模型，是数字人应用到的模型。NeRF模型用神经辐射场技术合成复杂场景视频。

NeRF-神经辐射场:

论文地址：https://arxiv.org/pdf/2003.08934

下面介绍一下NeRF模型架构与技术原理

摘要：

NeRF在合成复杂场景的新视图方面取得了最先进的结果。该算法使用全连接（非卷积）深度网络表示一个场景，其输入是单个连续的5D坐标在空间位置(x, y, z)和观看方向(θ, ϕ)，其输出是该空间位置的体密度和与视图相关的发射辐射度。通过查询沿相机射线的5D坐标来合成视图，并使用经典的体渲染技术将输出的颜色和密度投影到图像中。NeRF能有效优化神经辐射场，以渲染具有复杂几何和外观的场景的真实感新视图，并展示了优于之前在神经渲染和视图合成方面的工作的结果。

简介：

我们将静态场景表示为一个连续的5D函数，该函数在空间中的每个点（x, y, z）输出在每个方向发射的辐射（θ, ϕ），每个点的密度就像一个差分不透明度，控制通过（x, y, z）的光线积累多少辐射。该方法优化了一个不需要任何卷积层（通常称为多层感知器或MLP）的深度全连接神经网络，通过从单个5D坐标（x, y, z, θ, ϕ）回归到单个体积密度和视图相关的RGB颜色来表示这个函数。由于这个过程是自然可微的，我们可以使用梯度下降来优化该模型，方法是通过最小化每个观察图像和从我们的表示中渲染的相应视图之间的误差。通过为包含真实底层场景内容的位置分配高体积密度和准确颜色，鼓励网络预测场景的连贯模型。

优化复杂场景的神经辐射场表示的基本实现，并没有收敛到足够高分辨率的表示，而且在每个相机射线所需的样本数量方面效率很低。通过用位置编码转换输入的5D坐标来解决这些问题，使MLP能够表示更高频率的函数，并提出了一种分层采样程序，以减少对这种