32、HyperNeRF

简介

主页：https://hypernerf.github.io/

神经辐射场(NeRF)在被赋予处理变形的能力后能够捕捉非静态的人体主体，但在存在显著变形或拓扑变化时往往会遇到困难，如(b)所示。通过在(d)所示的高维空间中建模一系列形状，我们的Hyper-NeRF模型能够处理拓扑变化，从而产生更真实的渲染和更精确的几何重建，如©所示。

实现流程

Nerfies只能处理一些有轻微扰动的场景，即使用学习到的变形场映射，将每个输入图像中的坐标映射到标准模板坐标空间，这种基于变形的方法很难模拟拓扑的变化，因为拓扑变化需要变形场中的不连续，这些变形场必须是连续的

论文通过将nerf提升到更高维度的空间来解决这个限制（水平集方法），并通过将每个输入图像对应的5D亮度场表示为通过这个“超空间”的切片

Level Set Methods

在数学上表示物体表面有两种常见的方法，一种是表面可以被显式地定义，可能是一个多边形网格，另一种是隐式地定义，可能是一个连续函数的水平集

形状的显式表示虽然有效且普遍，但通常不适用于曲面的拓扑变化:例如，将多边形网格分成两半，可能需要创建新的顶点并重新定义网格的边缘拓扑。这种变化在基于梯度的优化方法(如NeRF)中特别难以表达，因为这种转换是不连续的，因此不容易区分

隐式曲面提供了一种自然的方式来模拟曲面在拓扑变化时的演化，例如当曲面形成一个洞或分裂成多个碎片时

水平集方法隐式地将一个曲面建模为辅助函数的零水平集

一个2 d表面可以被定义为，Γ = {(𝑥, 𝑦)|𝑆 (𝑥, 𝑦) = 0}，𝑆 : (𝑥, 𝑦) → 𝑠，是一个 signed-distance 函数，𝑠> 0表示点在内表面，𝑠< 0表示点在外表面

要对一个相对于某些额外维度(如“时间”)拓扑变化的曲面建模，可以添加一个额外维度𝑤，从而定义一个3D曲面Γ ={(𝑥，𝑦，𝑤)|𝑆(𝑥，𝑦，𝑤)= 0}，将这些附加维度的空间称为“环境”空间，位于𝑤𝑖环境坐标的2D表面可以表示为3D表面的2D截面Γ，通过将其与经过𝑤=𝑤𝑖的平面进行切片得到

简单来说，为了得到二维空间平面，可以通过增加一个维度，到三维空间体中截取得到该平面。如下图，两个青色二维平面可以由三维空间根据w轴截取得到，同理，可应用于橙色、蓝色平面

通过将同样的问题用3个空间维度和256个环境维度来表述，可以将3D形状理解为259维超表面的三维横截面

Deformable Slicing Surfaces

水平集方法将形状建模为高维表面的切片，称之为“环境表面”。提出了两种切片方法:

1. 轴向对齐平面(AP)对垂直于高维轴的曲面进行切片;
2. 可变形曲面(DS)可以变形，因此形状的不同部分可以参考超空间的不同部分。

如上图，需要获取的平面（a）有4组，当使用轴向切片，环境表面必须包含如图3b所示的四种排列中的每一种的副本，但是（a）就只有两种形状，圆和十字，这就导致空间效率低下

上图（c）中，可变形的表面可以共享信息，从而产生更简单的环境表面。

为此，论文引入了另一种MLP𝐻:(x，𝝎𝑖)→w，对可变形的切片表面进行编码，这样输出的形状就是如图3c所示的非平面表面切片的横截面，这允许不同的空间位置引用环境坐标空间的不同部分，从而在超空间中产生更紧凑的表示。其中x是一个空间位置，w是一个沿环境轴的位置，𝝎𝑖潜在变形代码(与空间变形场共享)。然后在通过连接x和𝐻(x，𝝎𝑖)获得的坐标上查询SDF

Hyper-Space Neural Radiance Fields

使用轴对齐的切片平面(AP, a)和可变形表面(DS, c)从一个新的视图渲染目标状态(b)。展示了在环境坐标下渲染的超空间模板，在规则网格上采样。我们绘制每个像素的环境坐标—坐标的颜色对应于每个模板样本的轮廓颜色。AP必须完全模拟每个场景状态，并在眼睛、嘴巴和下巴中产生工件。DS可以更高效地使用模板，因为场景的每个部分都可以引用模板的不同部分，从而产生更清晰的细节。

场景中的运动可以分为两类

1. 保持场景拓扑的运动
2. 改变场景表面拓扑结构的运动

如上述，形变场可以有效地模拟保持拓扑的运动，但不易模拟拓扑的变化，拓扑的变化必然涉及变形场的不连续，变形场是连续的，这是因为用MLP的权值进行了编码，MLP的行为就像一个平滑的插值器，因此不能表示这种不连续

因此，论文使用水平集方法，将神经辐射场扩展到更高的维度，允许拓扑变化，即将拓扑变化的形状建模为高维环境表面的截面

那么这里该用轴向对齐平面(AP)，还是可变形曲面(DS)？

通过对表达式1中两帧的嵌入𝝎𝑖进行线性插值合成新的视图。使用(AP)，所有空间点都被渲染在相同的环境坐标上，导致插值过程中产生模糊交叉衰落伪影。使用(DS)，不同的空间位置来参考环境空间的不同部分，从而产生更好的插值。

二维轴对齐切片平面(AP)公式，虽然可以通过与变形和外观代码一样直接优化环境坐标{w𝑖}来关联每个观测𝑖模板的特定切片，但这种方法迫使一次观测的所有射线样本共享相同的环境坐标，要求所有观测状态在单个环境坐标上明确建模。这可能会导致模板NeRF表达能力的低效使用，因为场景中发生在空间距离部分的拓扑变化必须跨多个子空间复制，以表示不同的状态组合。这可能会降低重建质量，并在不同状态之间插值时导致褪色的伪影

因此，这里使用可变形切片表面(DS)，它允许沿着环境维度将不同的空间位置映射到不同的坐标。这允许更有效地使用环境尺寸，从而获得更好的重建质量，与轴对齐平面相比，状态之间的插值更平滑。

使用MLP定义了一个可变形的切片表面场。每个观测空间样本点x通过映射𝐻:(x，𝝎𝑖)→w进行映射，其中𝝎𝑖是潜在变形代码(与空间变形场共享)，w是环境坐标空间中的一个点，它定义了样本的截面子空间


对x、d和w应用单独的位置编码。对变形字段𝑇使用窗口位置编码𝛾𝛼，对切片曲面字段𝐻使用𝛾𝛽



身份编码不会对性能或速度产生有意义的影响，省略它会带来特定的优势:可以在优化的初始阶段通过设置𝛽= 0来折叠环境维度，即使用窗口位置编码(详情看Nerfies)来延迟环境维度的使用

网络细节

变形网络

环境分层表面网络

模板网络

效果