【文献解析】NeRF的原理是什么

论文：https://arxiv.org/abs/2003.08934

TensorFlow代码：https://github.com/bmild/nerf
PyToch代码：https://github.com/yenchenlin/nerf-pytorch

一、文章概述

1.问题导向

从新视点生成照片级真实感输出需要正确处理复杂的几何体和材质反射比属性。目前还没有一种方法可以生成照片级的场景渲染，传统的Sfm重建质量不够高且仅仅将照片颜色投影到模型。

2.目标

利用稀疏输入图片实现从任何视点高质量渲染场景。NeRF是一种使用神经网络来隐式表达3D场景的技术。

3.摘要

我们提出了一种方法，通过使用稀疏的输入视图集优化底层连续体积场景函数，实现合成复杂场景的新颖视图的最先进的结果。我们的算法使用全连接（非卷积）深度网络表示场景，其输入是单个连续 5D 坐标（空间位置 (x, y, z) 和观察方向 (θ, φ)），其输出是体积密度和该空间位置处与视图相关的发射辐射率。我们通过查询沿相机光线的5D坐标来合成视图，并使用经典的体积渲染技术将输出颜色和密度投影到图像中。由于体积渲染本质上是可微分的，因此优化表示所需的唯一输入是一组具有已知相机姿势的图像。我们描述了如何有效地优化神经辐射场，以渲染具有复杂几何和外观的场景的逼真新颖视图，并展示了优于神经渲染和视图合成先前工作的结果。

4.贡献

1. NeRF首次利用5D隐式表示来最小化渲染图像和真实图像的误差
2. 使用连续的5D函数（神经辐射场）表达静态场景
3. 基于经典的volume rendering技术提出了一种可微渲染的过程
4. 提出了位置编码（positional encoding）将5D输入映射到高维空间

详情请查看。。。

【文献解析】NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis - 古月居 (guyuehome.com)