EfficientNeRF

EfficientNeRF – Efficient Neural Radiance Fields：高效率的神经辐射场CVPR2022
摘要：在本文中，提出了一种高效的基于nerf的三维场景表示和新视图图像合成方法——EfficientNeRF，分别加速了训练以及测试的过程。论文分析了采样点的密度和权重分布，分别在粗阶段和细阶段提出了有效和关键的采样，以显著提高采样效率。此外，设计了一种新的数据结构，在测试过程中缓存整个场景，以加快渲染速度。

贡献：
1、粗网络：提出了有效采样，它保持密集的体素，动态的更新密度。粗略MLP仅推断查询密度大于零的有效样本，从而节省了粗略阶段的大部分时间。精细网络：重点关注关键样本的附近区域，以有效地采样点。
2、测试阶段，设计了一种新的基于树的数据结构，即NerfTree，以更有效地表示3D场景，可以快速缓存和查询3D场景，从而将渲染速度提高。

1、网络结构

与采用从方向到颜色的隐式映射的原始NeRF不同，论文采用PlenOctree中的球形谐波模型，通过MLP网络显式预测颜色参数。它不仅提高了准确性，而且有利于测试期间的离线缓存。pipeline如下图：首先沿每条射线r均匀采样Nc点，并从动量密度体素Vσ中查询密度。为密度σi>0的有效样本计算其粗密度，获得权重以计算最终射线颜色，并通过粗密度更新Vσ。权重为wi> $ϵ$得到照顾。Ns个附近的样本以较高分辨率沿射线r线性采样。最后，通过精细MLP推断精细密度和颜色参数，并通过体绘制预测光线颜色。

1、训练阶段

动量密度体素（Momentum Density Voxels ）：对于特定场景，所有光线共享任何世界坐标x∈R³的密度。因此，构建了分辨率为D×D×D的动量密度体素Vσ，以存储训练期间目标场景上密度的最新全局值。由于每个点的密度σ≥0，我们将Vσ中的默认密度值初始化为正数ε。这意味着Vσ中的所有点在开始时都是有效样本。
更新（Update）：对于位置为x∈R³的采样点，我们通过粗MLP推断其粗密度σ_c（x）。然后我们用σ_c（x）更新密度体素Vσ。我们增加了一个稳定价值的动力。具体来说，我们首先将x转换为3D体素索引 i ∈R³，

x_min、x_max∈R³表示场景的最小和最大世界坐标边界。
接下来，对于每个训练迭代，我们通过下式更新Vσ的索引i处的全局密度σ

Vσ反映了整个场景的最新密度分布，我们通过查询直接获得坐标x处的密度属性，而不是通过MLP模块进行计算。它主要减少了推断时间，并用于指导动态采样过程。

粗阶段的有效采样（Valid Sampling）：从Vσ查询最新的密度，并且只输入具有全局密度的xi处Vσ[i]>0的点输入MLP中，以下公式是与原始NeRF比较的加速度，主要是说明速度得到了提升。

精细阶段的关键采样（Pivotal Sampling at the Fine Stage）：
在精细阶段，应该以更高的分辨率对3D点进行采样，以获得更好的质量。原始NeRF首先沿着遵循粗略权重分布的每条射线r采样Nf点。然后通过精细MLP预测密度和颜色。由于精细阶段的点数通常是Nc的2倍，因此在运行期间需要更多的计算。为了在精细阶段实现高效采样，本文提出了一种关键采样策略。
用位置xp定义点，其权重wp> $ϵ$作为关键样本，w_i表示x_i对光线r颜色的贡献。重点关注关键样本的附近区域，以推断更详细的密度和颜色。我们沿着每条射线r在x_p附近均匀采样Ns点

假设有Np个关键点，关键样本的比例可以表示为
细级的加速度比Af为

2、测试阶段

用NerfTree表示场景（Represent Scene by NerfTree）：论文中为基于NeRF的方法设计了一种高效的基于树的数据结构，称为NerfTree，以加快推理速度。NerfTree可以离线存储整个场景，从而消除粗略和精细的MLP。
NerfTree T={Vc，Vf}是一个2深度树。第一深度缓存粗密集体素Vc，第二深度缓存细稀疏体素Vf，如图所示。

Vc∈R^Dc×Dc×Dc只包含密度属性，该属性是通过粗MLP推断每个体素网格的密度值来提取的。对于精细稀疏体素
第一维度N_V表示所有有效样本的数量，第二维度表示大小为Df×Df×D的局部体素。Vf中的每个体素存储从精细MLP推断的密度和颜色参数。

论文中将该网络与MVSNeRF、IBRNet、FastNeRF等都进行了比较。具体不介绍