【论文阅读】OccNeRF: Self-Supervised Multi-Camera Occupancy Prediction with Neural Radiance Fields

原文链接：https://arxiv.org/abs/2312.09243

1. 引言

3D目标检测任务受到无限类别和长尾问题的影响。3D占用预测则不同，其关注场景的几何重建，但多数方法需要从激光雷达点云获取的3D监督信号。

本文提出OccNeRF，一种自监督多相机占用预测模型。首先使用图像主干提取2D特征。为节省空间，本文直接插值2D特征得到3D体素特征，而不使用交叉注意力。此外，本文考虑相机视野的无限空间，因此将占用场参数化，以表达无界环境。本文将整个3D空间分为内部和外部区域，其中内部区域保留原始坐标，外部区域使用收缩坐标。还设计专门的采样策略和神经渲染，将参数化占用场转化为多相机深度图。

使用渲染图像和训练图像之间的损失来监督占用预测效果不佳，因此本文使用时间光度损失作为监督，其常用于自监督深度估计任务。还使用了多帧光度约束，以更好地利用时间线索。对于语义占用，本文提出3个策略将类别名映射为提示，并输入预训练的开放词汇分割模型获取2D语义标签。然后使用额外的语义头渲染语义图像并受上述标签监督。

3. 方法

3.1 概述

如上图所示为本文方法的流程。多视图图像输入 { I i } i = 1 N \{I^i\}_{i=1}^N {Ii}i=1N​首先通过2D主干提取特征 { X i } i = 1 N \{X^i\}_{i=1}^N {Xi}i=1N​，并根据相机内参 { K i } i = 1 N \{K^i\}_{i=1}^N {Ki}i=1N​和外参 { T i } i = 1 N \{T^i\}_{i=1}^N {Ti}i=1N​插值到3D空间。然后使用坐标参数化将无限的距离压缩为有限占用场。使用体积渲染将占用转化为多视图深度图，并通过光度损失监督。最后，使用预训练的开放词汇分割模型获取2D语义标签。

3.2 参数化占用场

需要在内部区域（自车附近的区域，感兴趣区）保留高分辨率，而外部区域也是必要的，但影响较小，需要压缩空间表达以节省空间。使用可调整感兴趣区和压缩阈值的体素坐标参数化函数：
$$f(r)=\{\begin{array}{cc}\alpha \cdot r^{\prime }& |r^{\prime }|\le 1\\ \frac{r^{\prime }}{|r^{\prime }|}\cdot (1-\frac{(1-\alpha {)}^2}{\alpha |r^{\prime }|-2\alpha +1})& |r^{\prime }|>1\end{array}$$
其中$r^{\prime }=r/r_b$为 r ∈ { x , y , z } r\in\{x,y,z\} r∈{x,y,z}的归一化坐标，$f(r)\in (-1,1)$为归一化参数化坐标。$r_b$为内部区域的界（各坐标维度对应不同的值），$\alpha \in [0,1]$为感兴趣区在参数化空间中的比例，越高表示使用越多的空间表达内部区域。上述公式的两个分支在$r=r_b$处有相同的值和梯度。

为从2D视图得到3D体素特征，首先在参数化空间生成体素对应的点${\mathcal{P}}_{pc}=[x_{pc},y_{pc},z_{pc}{]}^T$，然后映射回自车坐标系：
$$\mathcal{P}=[f_x^{-1}(x_{pc}),f_y^{-1}(y_{pc}),f_z^{-1}(z_{pc}){]}^T$$
然后投影到2D图像平面（$\text{proj}()$）并使用双线性插值（$⟨\cdot ⟩$）得到特征：
$${\mathcal{F}}^i=X^i⟨\text{proj}(\mathcal{P},T^i,K^i)⟩$$
将来自多个视图的特征取平均，得到体素特征。最后，使用3D卷积提取3D特征并预测占用。

3.3 多帧深度估计

为将占用场投影为多视图深度图，使用NeRF的体积渲染。对于待进行深度渲染的像素，从相机中心$o$投射指向像素的射线（方向$d$），得到$v(t)=o+td$。然后沿射线采样$L$个点 { t k } k = 1 L \{t_k\}_{k=1}^L {tk​}k=1L​以得到密度$\sigma (t_k)$。按下式计算像素的深度：
$$D(v)=\sum _{k=1}^{L}T(t_k)(1-\exp (-\sigma (t_k){\delta }_k))t_k$$其中$T(t_k)=\exp (-{\sum }_{k^{\prime }=1}^{k-1}\sigma (t_{k^{\prime }}){\delta }_{k^{\prime }})$，${\delta }_k=t_{k+1}-t_k$为样本点的间距。

由于$o$在坐标系原点附近，本文直接从$U[0,1]$采样参数化坐标系下的$L(r)$个点，然后根据$f^{-1}$计算自车坐标系下的 { t k } k = 1 L ( r ) \{t_k\}_{k=1}^{L(r)} {tk​}k=1L(r)​。$L(v)$与$r_b(v)$按下式计算：
$$\begin{gathered} r_b(v)=\frac{\sqrt{(d\cdot i{l}_x{)}^2+(d\cdot j{l}_y{)}^2+(d\cdot k{l}_z{)}^2}}{2\Vert d\Vert } \\ L(v)=\frac{2r_b(v)}{\alpha d_v} \end{gathered}$$其中$i,j,k$为$x,y,z$轴的单位向量，$l_x,l_y,l_z$为内部区域的长宽高，$d_v$为体素大小。本文直接预测渲染权重而非密度。

传统的监督方法计算渲染RGB与原始RGB图像的损失，但实验表明这样的性能不佳。这可能是视图数量太少且场景太大。本文使用时间光度损失，将相邻帧根据渲染深度和相对姿态投影到当前帧，计算投影图像与原始图像的重建损失：
$${\mathcal{L}}_{pc}^i=\frac{\beta }{2}(1-\text{SSIM}(I^i,{\hat{I}}^i))+(1-\beta )\Vert I^i,{\hat{I}}^i{\Vert }_1$$其中${\hat{I}}^i$为投影图像，$\beta =0.85$。此外，还使用逐像素最小重投影损失和自动掩膜静态像素。对每个视图渲染短序列以进行多帧光度损失。

3.4 开放词汇语义监督

多视图图像的2D图像语义标签提供像素级监督，使网络能捕捉几何一致性和体素空间关系。本文使用预训练的开放词汇模型GroundedSAM，生成2D语义标签。该模型能在给定类别名称时得到语义匹配的2D标签。

当处理$c$类物体时，使用3种方法决定Grounding DINO（以文字提示进行目标检测的开放世界模型）的输入提示：同义替换（如使用“汽车”的同义词“小轿车”以与“卡车”和“公交车”区分）、细分类别（如“人造物”被分为“建筑”、“广告牌”、“桥”等以加强区分）、引入额外信息（如引入“自行车手”以促进自行车上人的检测）。得到检测边界框与分数（logits，置信度分数在sigmoid归一化前的值）、短语后，输入SAM（分割一切模型）生成$M$个精确的分割二值掩膜，并与Grounding DINO输出的分数相乘。这样，每个像素的分数为 { l i } i = 1 M \{l_i\}_{i=1}^M {li​}i=1M​。使用下式得到逐像素类别：
$${\mathcal{S}}^{pix}=\psi (\underset{i}{\mathrm{argmax}}{l}_i)$$其中$\psi$将$l_i$的索引根据短语映射为类别标签的函数。若某像素不属于任何类别（得到$M$个0分），则标记为“不确定”标签。

使用$c$个通道输出的语义头将体素特征映射到语义输出，记为$S(x)$，并使用类似3.3节的体积渲染公式得到逐像素语义渲染输出：
$${\hat{\mathcal{S}}}^{pix}(r)=\sum _{k=1}^{L_s}T(t_k)(1-\exp (-\sigma (t_k){\delta }_k))S(t_k)$$

为节省空间，本文不渲染“不确定”标签的像素，且只渲染中心帧，并将采样点数降为$L_s=L/4$。总损失如下：
$${\mathcal{L}}_{total}=\sum _i{\mathcal{L}}_{pe}^i+\lambda {\mathcal{L}}_{sem}^i({\hat{\mathcal{S}}}^{pix},{\mathcal{S}}^{pix})$$其中${\mathcal{L}}_{sem}$为交叉熵损失。

4. 实验

4.1 实验设置

数据集：自监督深度估计任务真值通过激光雷达点云投影到图像上获得，以进行评估。语义占用使用Occ3D-nuScenes基准。
实施细节：图像主干使用ResNet-101。深度渲染时渲染5帧（关键帧和其相邻的4帧非关键帧）中的3帧。
评估指标：深度估计使用Abs Rel、Sq Rel、RMSE、RMSE log与$\delta <t$指标。语义占用预测使用各类mIoU（仅对图像可见体素进行评估）。

4.2 自监督深度估计

本任务不使用预训练模型。实验表明，本文方法能大幅超过其余SotA。

需要注意的是，部分方法可能仅使用关键帧图像作为训练输入，而本文的方法使用了非关键帧图像。

4.3 语义占用预测

实验表明，本文方法能超过其余自监督方法，且能达到一些全监督方法相当的性能。对于某些类别，本文的方法能超过所有监督方法，但对小型物体，本文方法与监督方法之间的差距还很大。这可能是目前的开放词汇模型会忽略小物体。

4.4 消融研究

监督方法：使用渲染RGB色彩与真值的损失作为监督，性能很差。这可能是因为仅有少量的视角图像，NeRF难以学习场景结构。而使用时间光度损失可以利用相邻帧的几何线索。
坐标参数化：使用收缩坐标能提高性能；在此基础上使用本文提出的采样策略替代均匀采样策略能进一步提高性能。
语义标签生成：直接使用SAM的输出分数，性能较差，因其有噪声且不连续；使用原始类别名称作为开放词汇模型输入生成2D监督。结果同样较差，因其不提供细粒度语义指导，会带来模糊性。

5. 局限性与未来工作

本文的方法在推断时仅使用单帧输入进行占用预测，因此不能预测占用流。此外，本文方法的性能受到开放词汇分割模型性能的限制。

附录

A. 参数化占用场推导

上图所示为原始无界空间与参数化有界空间的比较。内部空间需要线性映射以保留高分辨率；而外部空间点的分布于视差成比例，而视差与距离成反比。可得变换函数：
$$f(r)=\{\begin{array}{cc}\alpha \cdot r^{\prime }& |r^{\prime }|\le 1\\ \frac{r^{\prime }}{|r^{\prime }|}\cdot (1-\frac{a}{|r^{\prime }|+b})& |r^{\prime }|>1\end{array}$$
保证上述两段在$r^{\prime }=1$处连续且导数连续，可解得$a,b$的值。

C. 评估指标

• Abs Rel：$\frac{1}{|T|}{\sum }_{d\in T}|d-d^{\ast }|/d^{\ast }$
• Sq Rel：$\frac{1}{|T|}{\sum }_{d\in T}|d-d^{\ast }{|}^2/d^{\ast }$
• RMSE：$\sqrt{\frac{1}{|T|}{\sum }_{d\in T}|d-d^{\ast }{|}^2}$
• RMSE log：$\sqrt{\frac{1}{|T|}{\sum }_{d\in T}|\log d-\log d^{\ast }{|}^2}$
• $\delta <t$：满足$\max (\frac{d}{d^{\ast }},\frac{d^{\ast }}{d})=\delta <t$的像素所占的百分比。

其中$T$为像素集合。