【论文笔记】Neural LiDAR Fields for Novel View Synthesis

原文链接：https://arxiv.org/pdf/2305.01643.pdf

1. 引言

目前的新视图合成都关注合成图像，而自动驾驶通常依赖激光雷达测量。

传统的激光雷达新视图合成方法主要分两步。首先根据点云提取显式的表面表达（如三角形网孔），然后从新视点发出射线，与表面相交。这类方法会导致离散化伪影，且假设了理想的射线模型，忽略了激光雷达光束的发散性。

激光雷达的一个特点是，激光器并非直接测量距离，而是通过测量光束返回的能量，并根据波形确定距离。这使得可能导致一个发射射线产生多个返回或者不产生任何返回。

本文基于NeRF，提出激光雷达神经场（NFL），直接为新视图合成优化隐式场景表达。此外，本文考虑了激光雷达的测量过程并整合到神经场中，引入光束发散并提出截断体积网格渲染。

3. 背景

3.1 被动传感器的体积网格渲染

密度与透射率：对从原点$o\in {\mathbb{R}}^3$以方向$d\in {\mathbb{R}}^3$发出的射线$r(o,d)$，距离$\zeta$处的密度${\sigma }_{\zeta }$是标量函数，表示射线在$r_{\zeta }=o+\zeta d$处（经过单位距离）撞击反射粒子的可能性。透射率$T_{\zeta }$是射线从距离区间$[0,\zeta )$不碰到任何东西的概率。给定射线上的距离微元$d\zeta$，不碰到任何东西的概率$T_{\zeta +d\zeta }=T_{\zeta }\cdot (1-{\sigma }_{\zeta }d\zeta )$。在区间$[{\zeta }_0,\zeta )$上积分，可求得
$$T_{\zeta }=T_{{\zeta }_0}\exp (-{\int }_{{\zeta }_0}^{\zeta }{\sigma }_{t}dt)$$
则射线在区间$[{\zeta }_0,\zeta )$内不受阻碍的概率
$$T_{{\zeta }_0\to \zeta }\equiv \frac{T_{\zeta }}{T_{{\zeta }_0}}=\exp (-{\int }_{{\zeta }_0}^{\zeta }{\sigma }_{t}dt)$$
分解公式：$T_{\zeta }=T_{{\zeta }_0}\cdot T_{{\zeta }_0\to \zeta }$。

在均匀介质上积分：假设射线$[{\zeta }_j,{\zeta }_{j+1}]$段的均匀介质有恒定的辐射$c\in {\mathbb{R}}^3$和密度$\sigma$，则该段的积累辐射量为
$$c({\zeta }_j\to {\zeta }_{j+1})=c_{{\zeta }_j}{\int }_{{\zeta }_j}^{{\zeta }_{j+1}}{T}_{{\zeta }_j\to \zeta }\cdot {\sigma }_{\zeta }d\zeta ={\alpha }_{{\zeta }_j}{c}_{{\zeta }_j}$$
其中${\alpha }_{{\zeta }_j}=1-\exp (-{\sigma }_{{\zeta }_j}({\zeta }_{j+1}-{\zeta }_j))$为不透明度。

推导过程：
$$c({\zeta }_j\to {\zeta }_{j+1})=c_{{\zeta }_j}{\int }_{{\zeta }_j}^{{\zeta }_{j+1}}{T}_{{\zeta }_j\to \zeta }\cdot {\sigma }_{\zeta }d\zeta =c_{{\zeta }_j}{\int }_{{\zeta }_j}^{{\zeta }_{j+1}}\exp (-{\int }_{{\zeta }_j}^{\zeta }{\sigma }_{t}dt)\cdot {\sigma }_{\zeta }d\zeta$$
令$f(\zeta )=\exp (-{\int }_{{\zeta }_j}^{\zeta }{\sigma }_{t}dt)$，则
$$f^{\prime }(\zeta )=-{\sigma }_{\zeta }\exp (-{\int }_{{\zeta }_j}^{\zeta }{\sigma }_{t}dt)$$
则
$$c({\zeta }_j\to {\zeta }_{j+1})=-c_{{\zeta }_j}{\int }_{{\zeta }_j}^{{\zeta }_{j+1}}{f}^{\prime }(\zeta )d\zeta =-c_{{\zeta }_j}f(\zeta ){|}_{\zeta ={\zeta }_j}^{{\zeta }_{j+1}}=-c_{{\zeta }_j}[\exp (-{\int }_{{\zeta }_j}^{{\zeta }_{j+1}}{\sigma }_{t}dt)-1]=c_{{\zeta }_j}(1-\exp (-{\sigma }_{{\zeta }_j}({\zeta }_{j+1}-{\zeta }_j))$$

体积网格渲染：将射线分为$N$个片段，每个片段有恒定密度和辐射值，则总的辐射度为
$$c=\sum _{j=1}^N{\int }_{{\zeta }_j}^{{\zeta }_{j+1}}{T}_{\zeta }\cdot {\sigma }_{\zeta }{c}_{\zeta }d\zeta =\sum _{j=1}^N{w}_j{c}_{{\zeta }_j}$$
其中$w_j={\alpha }_{{\zeta }_j}{\prod }_{k=1}^{j-1}(1-{\alpha }_{{\zeta }_k})$为第$j$个片段的权重。

推导过程：
$$c=\sum _{j=1}^N{\int }_{{\zeta }_j}^{{\zeta }_{j+1}}{T}_{\zeta }\cdot {\sigma }_{\zeta }{c}_{\zeta }d\zeta =\sum _{j=1}^N{T}_{{\zeta }_j}{\int }_{{\zeta }_j}^{{\zeta }_{j+1}}{T}_{{\zeta }_j\to \zeta }\cdot {\sigma }_{\zeta }{c}_{\zeta }d\zeta =\sum _{j=1}^N(\prod _{k=1}^{j-1}{T}_{{\zeta }_k\to {\zeta }_{k+1}}){\alpha }_{{\zeta }_j}=\sum _{j=1}^N(\prod _{k=0}^{j-1}\exp (-{\int }_{{\zeta }_k}^{{\zeta }_{k+1}}{\sigma }_{t}dt)){\alpha }_{{\zeta }_j}=\sum _{j=1}^N({\alpha }_{{\zeta }_j}\prod _{k=0}^{j-1}(1-{\alpha }_{{\zeta }_k}))$$

3.2 激光雷达模型

理想的激光雷达模型发射激光束脉冲（其终点为3D表面点），并根据飞行时间计算距离。但是实际的激光雷达发射的光束存在散度且脉宽有限，且接收器根据信号处理技术检测返回。这导致离散误差或估计偏差、多个返回或没有返回。

光束发散：激光束会随着距离增大而发散，这会导致照明区域增大、单位面积的辐射减小。光束足迹的大小取决于发散角$2{\gamma }_0$和距离$\zeta$。设$r^{\gamma }$为光束截面内角度为$\gamma$的理想射线，$\gamma \le {\gamma }_0$，则其单位面积的辐射$E(\zeta ,\gamma )$可由射线坐标系内的高斯函数估计：
$$E(\zeta ,\gamma )=\frac{2I_0}{\pi ({\gamma }_0\zeta {)}^2}g(\gamma ),g(\gamma )=\exp (-2\frac{{\gamma }^2}{{\gamma }_0^2})$$
其中$I_0$为脉冲峰值功率。

脉冲波形：根据飞行时间和光速$c$，可计算距离。由于脉冲有有限时长${\tau }_H$，返回的时间是通过分析接收强度得到的。发射脉冲的功率随时间的关系如下：
$$P_e(t)\propto (\frac{t}{\tau }{)}^2\exp (-\frac{t}{\tau }),\tau =\frac{{\tau }_H}{1.75}$$
接收辐射功率$P(\zeta )$为脉冲功率与系统脉冲相应$H(\zeta )$进行卷积的结果：
$$P(\zeta )={\int }_0^{2\zeta /c}{P}_e(t)H(\zeta -\frac{ct}{2})dt$$
其中脉冲相应$H(\zeta )$为目标相应于接收器相应的组合：$H(\zeta )=H_T(\zeta )H_C(\zeta )$。对于距离为${\zeta }_0$处的朗博表面，目标相应与入射角$\theta$和反射率$\rho$相关：
$$H_T(\zeta )=\frac{\rho }{\pi }\cos (\theta )\delta (\zeta -{\zeta }_0)$$其中$\delta (\cdot )$为狄拉克delta函数。接收器响应$H_C(\zeta )$是通过对接收器有效面积实心角$A_e$的积分来计算的：
$$H_C(\zeta )=T_{\zeta }^2\frac{A_e}{{\zeta }^2}$$
其中$T_{\zeta }\in [0,1]$为单向透射率。

光束离散化：实际中，会将高斯发散的光束离散化为$M=37$条角度为${\gamma }_i$射线。总的辐射功率$P(\zeta )$为这些光束的加权和：
$$P(\zeta )=\sum _{i=1}^{M}g({\gamma }_i)P_i(\zeta )$$
考虑光束发散能产生两种重要现象：距离偏差和多返回，如下图的最上一行所示。当光束照射到不同距离的表面时，波形的峰值可能会移位，导致距离偏差。

距离估计：估计表面距离的常用方法是定位接收波形的峰值。此时信号会被离散化为直方图，超过某阈值的局部极大值会被视为检测。相关的距离值会进行修正，以消除来自波形的已知偏差（以及可能的辐射功率引起的偏差）。通过考虑区间化和阈值化过程，可以提现激光雷达距离分辨率中的离散化误差和低功率返回射线的丢弃。

4. 激光雷达新视图合成

问题设置：考虑来自运动传感器的激光雷达扫描 X = { X v } v = 1 n v \mathcal{X}=\{X_v\}_{v=1}^{n_v} X={Xv​}v=1nv​​，每个扫描$X_v$与传感器姿态$T_v$相关，包含$n_r$条射线。每条射线$r(o,d)$记录了观测$({\zeta }_1,e_1,p_d,p_s,{\zeta }_2,e_2)$，包括来自距离${\zeta }_1$的、强度为$e_1$的返回，射线丢弃标识 p d ∈ { 0 , 1 } p_d\in\{0,1\} pd​∈{0,1}，双返回标识 p s ∈ { 0 , 1 } p_s\in\{0,1\} ps​∈{0,1}；来自距离${\zeta }_2$的、强度为$e_2$的返回。本文的目标是重建一个关于反射率$\rho$和密度$\sigma$的连续体积表达，从而渲染给定传感器姿态$T_{tgt}$下的虚拟激光雷达扫描$X_{tgt}$。

4.1 神经场景表达

本文将场景编码为神经场$F:(x,d)\to (\sigma ,\rho ,p_d)$，输入位置$x$与方向$d$，输出密度、反射率和射线丢弃概率。首先，使用哈希编码将$x$编码为位置特征$f_{pos}\in {\mathbb{R}}^{32}$，并将视线方向投影为球面谐波基底的前16个系数$f_{dir}\in {\mathbb{R}}^{16}$，然后使用MLP参数化神经场：$[\sigma ,f_{geo}]=f_{\sigma }(f_{pos})$提取密度与几何特征$f_{geo}\in {\mathbb{R}}^{15}$；$\rho =f_{\rho }(f_{geo},f_{dir})$回归反射率；$p_d=f_{drop}(f_{geo},f_{dir})$对是否丢弃射线进行分类；$p_s=f_{sr}(f_{beam})$分类第二返回的存在性（$f_{beam}$见第4.3节）。

4.2 激光雷达射线的体积渲染

与被动传感器不同，激光雷达主动照明场景并测量返回的辐射。这一双向传播的特点使得激光雷达的体积渲染与图像不同。
辐射功率积分：沿射线的辐射功率为delta函数，仅在反射表面不为0。本文将$H_T(\zeta )$与$H_C(\zeta )$的公式组合，得到概率辐射功率：
$$P_{\zeta }=C\frac{T_{\zeta }^2\cdot {\sigma }_{\zeta }{\rho }_{\zeta }}{{\zeta }^2}\cos (\theta )$$
其中$C$为系统常数，${\rho }_{\zeta }$为可微反射率，$\theta$为入射角。在有恒定密度与反射率的均匀介质中，积分$P({\zeta }_j\to {\zeta }_{j+1})$为：
$$P({\zeta }_j\to {\zeta }_{j+1})={\int }_{{\zeta }_j}^{{\zeta }_{j+1}}C\frac{T_{{\zeta }_j\to \zeta }^2{\sigma }_{\zeta }{\rho }_{\zeta }}{{\zeta }^2}\cos ({\theta }_j)d\zeta \approx {\alpha }_{{\zeta }_j}{\rho }_{{\zeta }_j}^{\prime }$$
其中以$\frac{{\zeta }_j+{\zeta }_{j+1}}{2}$来近似$\zeta \in [{\zeta }_j,{\zeta }_{j+1}]$，且
$${\alpha }_{{\zeta }_j}=\frac{1}{2}(1-\exp (-{\sigma }_{{\zeta }_j}{\delta }_{{\zeta }_j})),{\rho }_{{\zeta }_j}^{\prime }=C{\rho }_{{\zeta }_j}\frac{4\cos ({\theta }_j)}{({\zeta }_j+{\zeta }_{j+1}{)}^2}$$
体积渲染：主动传感器的观测功率可通过将$P({\zeta }_j\to {\zeta }_{j+1})$的表达插入图像体积渲染的公式中计算：
$$P=\sum _{j=1}^N{\int }_{{\zeta }_j}^{{\zeta }_{j+1}}C\frac{T_{\zeta }^2{\sigma }_{\zeta }{\rho }_{\zeta }}{{\zeta }^2}\cos ({\theta }_j)d\zeta =\sum _{j=1}^N{w}_j{\rho }_{{\zeta }_j}^{\prime }$$
其中
$$w_j=2{\alpha }_{{\zeta }_j}\prod _{k=1}^{j-1}(1-2{\alpha }_{{\zeta }_k})$$

4.3 从多条射线组合光束

第一距离估计：本文使用两阶段方法从神经场提取距离值。为估计理想射线$r$的距离，本文均匀采样$N^c$个点，查询其密度值，并计算权重 { w j c } j = 1 N c \{w_j^c\}_{j=1}^{N^c} {wjc​}j=1Nc​。粗糙的峰值估计${\zeta }_p$通过寻找最大权重的采样点得到： p = arg max ⁡ j { w j c } j = 1 N c p=\argmax_j\{w_j^c\}_{j=1}^{N^c} p=argmaxj​{wjc​}j=1Nc​。然后在局部区间${\zeta }_j\in [{\zeta }_p-ϵ,{\zeta }_p+ϵ]$均匀采样$N^f$个点，并计算权重$w_j^f$，从而计算${\zeta }_f={\sum }_{j=1}^{N^f}{w}_j^f{\zeta }_j$。

第二距离估计：本文使用截断体积渲染估计除第一返回之外的辐射功率。

具体来说，首先通过对特征$f_{beam}=({\bar{f}}_{geo},f_{dir},f_{range})$进行是否二次返回的分类，其中${\bar{f}}_{geo}$为体积渲染的几何特征，$f_{range}$描述了第一返回距离估计的标准差和最大差异。直观来看，${\bar{f}}_{geo}$描述局部几何，$f_{dir}$编码了光束与几何的关系，$f_{range}$体现了光束与场景的先验交互。

对有二次返回的光束，首先为第一返回的距离${\zeta }_1$添加一个$\xi$（描述第二返回与第一返回的距离）。然后将透射率$T_{{\zeta }_1+\xi }$置为1（将${\zeta }_1+\xi$之前的密度置为0），并重新计算权重。重复上述距离估计得到${\zeta }_2$。注意对于有两次返回的光束，其第一返回${\zeta }_1$表示光束范围内所有射线测量的最小距离。而对单次返回的光束，其距离为光束中心射线的测量距离。

反射率估计：根据神经网络，可以得到被检测表面点的反射率$\rho ={\sum }_{j=1}^{N^f}{w}_j^f{\rho }_j$。

射线丢弃概率：实际中，部分光束没有距离测量。这可能是由于观测的返回信号幅度较小或没有清晰的峰值。这很难进行完全的物理建模，因为这往往取决于（未公开的）检测细节。本文使用神经网络预测变量 p d ( ζ ) ∈ { 0 , 1 } p_d(\zeta)\in\{0,1\} pd​(ζ)∈{0,1}来表示不反射辐射功率的局部概率，以增强神经场景表达。体素渲染会整合该值，得到射线被丢弃的概率：$p_d(r)={\sum }_{j=1}^{N^c}{w}_j^c{p}_d({\zeta }_j)$。

4.4 训练神经激光雷达场

给定一组激光雷达扫描，通过最小化下面的损失函数优化模型：
$$\mathcal{L}={\mathcal{L}}_{range}+{\lambda }_e{\mathcal{L}}_e+{\lambda }_d{\mathcal{L}}_d+{\lambda }_s{\mathcal{L}}_s$$

距离重建：为粗糙距离${\zeta }_p$和细化距离${\zeta }_f$添加两个损失。粗糙距离损失会在真实距离$\hat{\zeta }$处引入高斯分布：
$${\mathcal{L}}_{range}^c=\frac{1}{|\mathcal{R}|}\sum _{r\in \mathcal{R}}(1-\sum _{w_j\in {\mathcal{X}}_c^n}{w}_j{\hat{w}}_j+\sum _{w_k\in {\mathcal{X}}_c^e}{w}_k^2)$$
其中$\mathcal{R}$为激光雷达射线的集合，${\mathcal{X}}_c^n$和${\mathcal{X}}_c^e$表示在区间$[\hat{\zeta }-ϵ,\hat{\zeta }+ϵ]$内部和外部的采样点。真实权重${\hat{w}}_j$是通过积分高斯分布计算的。细化距离损失为：
$${\mathcal{L}}_{range}^f=\frac{1}{|\mathcal{R}|}\sum _{r\in \mathcal{R}}|\hat{\zeta }-{\zeta }_f|$$

反射率重建：通过与真实强度$\hat{e}$之间的L2损失来优化：${\mathcal{L}}_e=\frac{1}{|\mathcal{R}|}{\sum }_{r\in \mathcal{R}}(\hat{e}-e{)}^2$。

射线丢弃和双返回标识以分类任务训练，通过最小化二元交叉熵损失与Lovasz损失的组合来优化：
$${\mathcal{L}}_{\ast }=\frac{1}{|\mathcal{R}|}\sum _{r\in \mathcal{R}}({\mathcal{L}}_{bce}(p_{\ast },{\hat{p}}_{\ast })+{\mathcal{L}}_{ls}(p_{\ast },{\hat{p}}_{\ast }))$$

5. 实验

5.1 数据集与评估设置

Waymo Open数据集：使用其中的部分静态场景，每个场景分割出长5s的片段，每隔5帧选出来组成测试集。

此外，还基于闭环仿真提出新的评估协议，即使用所有帧训练，并合成另一轨迹（将传感器平移固定的一段距离）下的新视图。然后使用合成视图作为训练，合成原始轨迹下的视图以衡量性能。

评估指标：本文报告4类评估指标：平均绝对误差（MAE），中值绝对误差（MedAE），双向Chamfer距离（CD）和recall@50（距离估计误差小于0.5m的射线百分比）。还测量了双返回估计的分割召回率（Seg. recall）和分割精度（Seg. precision）。强度由平均绝对误差（MAE）评估。对于射线丢弃估计，使用召回率、精度和IoU。对于点云配准，使用旋转误差（RE）和平移误差（TE）。

5.2 激光雷达新视图合成的评估

射线测量：NFL有较低的距离误差，且强度和射线丢弃概率估计均有较好的性能。使用分散光束表达能提高双返回射线的两个距离估计，但会略微降低整体的第一返回距离估计性能。这是由于双返回标识的估计不够精确，且可通过使用真实双返回标识来进行实验证明。

第一距离：本文NFL的体积渲染能有效估计密度场，导致在困难场景有更好的结果。

对主动传感器体积渲染的消融研究：使用本文的体积渲染替换基准方案的被动传感器体积渲染，在不调整超参数的情况下，距离估计精度均有上升。

5.3 新视图的下游评估

点云配准：为评估合成扫描保留局部几何特征的程度，本文使用在Waymo上预训练的点云配准模型应用于真实激光雷达扫描和合成扫描。实验表明，本文的NFL能在复杂几何和高噪声水平的数据集上超过基准方案。

语义分割：为探索真实扫描与合成扫描的域间隙，本文使用预训练的语义分割模型比较结果。NFL对汽车的分割达到了最高的召回率。

6. 局限性和未来工作

NFL基于NeRF，因此需要进行逐场景优化。

补充材料

B. 方法和损失函数

第一距离估计：若第一阶段的最大权重$w_p^c$低于预定义阈值$\eta =0.1$，则假设网络对重建和距离估计不确定，因此仅进行粗糙阶段的体积渲染，将距离估计为$\zeta ={\sum }_{j=1}^{N^c}{w}_j^c{\zeta }_j$。

距离重建损失：为真实距离添加高斯噪声的标准差$\delta$在训练中是经过退火的，退火过程如下：
$${\delta }_k={\delta }_{\max }(\frac{{\delta }_{\min }}{{\delta }_{\max }}{)}^{k/k_{\max }}$$
其中$k$为迭代次数，$k_{\max }$为最大迭代数，${\delta }_{\max }$与${\delta }_{\min }$为经验决定的标准差上下界。真实权重${\hat{w}}_j$按下式计算：
$${\hat{w}}_j={\int }_{{\zeta }_j}^{{\zeta }_{j+1}}\frac{1}{\delta \sqrt{2\pi }}\exp (-\frac{(x-\hat{\zeta }{)}^2}{2{\delta }^2})dx$$

C. 额外结果

运行时间分析：本文方法的速度能超过激光雷达的测量频率。仅10%的射线有第二返回，其带来的计算开销很低。

射线丢弃建模：显然射线丢弃与光束发散之间有关系，但通过光束特征建模射线丢弃有更差的性能，这可能是由于$f_{beam}$中含$f_{range}$，编码了返回的统计数据，而这对丢弃射线来说没有用处。

双返回标识估计：将$f_{beam}$与$f_{range}$拼接能带来更高的分割召回率和更好的第二返回距离。

第二返回的重要性：尽管Waymo数据集没有关于第二返回的标注，无法进行定量分析，但定性分析表明，在植被区域有更多的双返回，这表明双返回对植被的检测有帮助。