NeRF : Neural Radiance Fields

• 文献：

Mildenhall, B., Srinivasan, P.P., Tancik, M., Barron, J.T., Ramamoorthi, R., Ng, R. (2020). NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. In: Vedaldi, A., Bischof, H., Brox, T., Frahm, JM. (eds) Computer Vision – ECCV 2020. ECCV 2020.

与一般的深度学习方法不同，NeRF不是在训练网络之后用既定的网络参数测试结果，而是在训练过程中逐渐优化体素，完成体素的隐式表达，从而获得新视角下的渲染结果。———《基于NeRF的文物建筑数字化重建》

• 总结(这里的概念非常重要）：

  • NeRF（Neural Radiance Fields）是一种基于神经网络的方法，用于三维场景的重建和渲染。它能够从有限数量的视角图像中学习场景的几何和光照信息，并以此生成高质量的三维重建结果。

    NeRF通过使用神经网络对场景中每个空间点的辐射强度和颜色进行建模。它假设场景可以被视为一个连续的函数，该函数能够从任意视点的方向和位置计算观察到的颜色值。

    训练阶段，NeRF通过使用一组在不同视角下捕获的图像对学习场景进行潜在表示。它将每个图像中的像素点与场景中的空间点进行匹配，从而建立一个像素-空间点对的映射关系。然后，通过优化神经网络的参数，NeRF能够推断每个空间点的视线方向、颜色和辐射强度等属性。

    生成阶段，NeRF可以利用学习到的模型参数，从任意视点生成场景的新视角图像。它能够实现高品质的视角变换、景深效果及环境光照的重建。

  • 辐射（Radiance）指的是场景中每个空间点的发光强度或亮度。它表示了物体或场景在某个方向上发出的光的能量，通常用于描述光照模型中的光的属性。

    NeRF使用神经网络来预测每个空间点的辐射强度，这个强度可以理解为从该点发出的光的能量。在NeRF中，辐射强度通常是一个非负的标量值，表示密度或颜色的强度。

    通过学习输入图像中的视角、颜色和深度信息，NeRF可以估计场景中每个空间点的辐射强度。这个预测的辐射强度可以用于生成新的视角图像或进行光线追踪等渲染任务。

    辐射在NeRF中是一个重要的概念，它允许模型对光照和材质进行建模，从而增强了对场景的理解和生成。

  • 在NeRF中，Volume Densities（密度值）和Radiance（辐射强度）是两个不同的概念。

    1. Volume Densities（密度值）：Volume Densities表示场景中每个空间点的密度或存在概率。它指示着对应点是否有物体或场景存在，以及光线在通过该点时的遮挡或透射程度。密度值通常表示为正实数，并在训练过程中被神经网络模型预测或估计。在NeRF中，Volume Densities用于计算光线与场景中各点的相交关系，以确定光线的传播路径。

    2. Radiance（辐射强度）：Radiance表示场景中每个空间点上的辐射强度或颜色值。它描述了光线从该点发出或反射的能量强度以及颜色。Radiance通常表示为三维矢量，包括红、绿、蓝（RGB）通道的数值。在NeRF中，Radiance也是通过神经网络模型来预测或估计的，它表示了在光线通过对应点时，对应点上的颜色或光照强度。

    
    Volume Densities（密度值）用于建模场景中的遮挡和透射关系，表示对应点的存在概率或光线的通过程度。Radiance（辐射强度）用于描述场景中每个空间点上的颜色或光照强度。密度值和辐射强度是NeRF模型中两个重要的量，它们共同用于渲染和重建场景的三维结构。

• 笔记：
  • 目标：实现合成复杂场景的新视角
  • 因此，NeRF有别于传统的三维重建方法的点在于：NeRF并不直接生成点云。
  • 隐式表达：NeRF不生成点云，而是把整个场景的空间结构以参数的形式存储（MLP），整个MLP作为对场景的重建表征。
  • 输入：5D = (xyz) + 观察方向 （ 因此NeRF的输入需要已经估计的相机位姿）
  • 输出：该空间位置的体积密度a  + 颜色（r,g,b)
  • 关键词：scene representation, view synthesis, image-based rendering, volume rendering, 3D deep learning
  • 优化了一个没有任何卷积层的深度全连接神经网络（MLP）。
  • 
  • 上图选用100张半球随机捕获的场景，然后通过NeRF合成了两张新视图（右边的两副）。
  • 渲染NeRF流程：
    1. 将相机光线穿过场景生成一组采样的3D点；
    2. 使用这些点及其相应的2D观看方向作为神经网络的输入，产生一组输出的颜色和密度；
    3. 使用经典的体绘制技术将这些颜色和密度累积到2D图像中。（体绘制技术：体绘制技术是直接根据三维体数据场信息产生屏幕上的二维图像）
  • 优化：
    • 通过使用位置编码转换输入5D坐标来解决：复杂场景的NeRF表示不能收敛到足够高分辨率和需要样本数量方面效率低下的问题。
      • 位置编码使得MLP能够表示更高频率的函数。
    • 分层采样过程：以减少充分采样这种高频场景的查询数量。
    • 克服了在高分辨率下建模复杂场景时离散体素网格的高昂存储成本。
  • 主要贡献(三点）：
    • 一种将具有复杂几何和材料的连续场景 参数化为基本的MLP网络（5D神经辐射场）的方法。
    • 基于经典体绘制技术的可谓分渲染过程，对标准RGB图像进行优化。（分层采样策略）
    • 位置编码将每个输入的5D坐标映射到高维空间，使得神经辐射场可以表示高频场景内容。
  • NeRF提出了第一个连续的神经场景表示，能够从自然环境中捕获的RGB图像中呈现真实物体和场景的高分辨率逼真的新视图。

（未来有时间更新）