【论文笔记】3DOPFormer: 3D Occupancy Perception from Multi-Camera Images with Directional and Distance Enh-CSDN博客

本文链接：https://blog.csdn.net/weixin_45657478/article/details/135295892

本文介绍了一种名为3DOPFormer的新方法，利用空间交叉注意力和反卷积技术，结合激光雷达射线方向特征，实现对多摄像头图像的3D占用感知。通过神经渲染和优化损失函数，模型在nuScenes数据集上表现出色，尤其在穿透体素的准确度上有显著提升。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

【论文笔记】3DOPFormer: 3D Occupancy Perception from Multi-Camera Images with Directional and Distance Enhancement
原文链接：https://ieeexplore.ieee.org/abstract/document/10363646

I. 引言

本文的3DOPFormer使用空间交叉注意力机制和反卷积恢复3D占用，然后基于激光雷达射线方向特征提出优化3D占用感知模型的新方法。使用神经渲染方法合成激光雷达射线方向的距离，通过最小化合成距离与原始点云距离之间的损失，使模型生成精确的占用预测。通过插值可以得到任意3D点的特征，从而预测任意分辨率下的3D场景占用。

III. 方法

A. 准备知识

本节介绍了NeRF的体积渲染公式，见神经辐射场的简单介绍。

在粗糙采样的基础上，还可进行细化采样，即根据粗糙采样的权重分布采样新的点，再将粗糙采样点与细化采样点一起用于计算渲染结果。损失函数为粗糙采样渲染结果光度损失与细化采样渲染结果光度损失的均值。

对于激光雷达距离合成，将上述渲染公式中的RGB值替换为距离即可。由于点的距离是采样得到，需要预测的仅有 $\sigma$ ，因此可改为直接预测不透明度 $\alpha$ ：
$\hat{d}=\sum_{i=1}^NT_i\alpha_it_i\\T_i=\sum_{j=1}^{i-1}(1-\alpha_j)\\\alpha_i=F(x_i)$
其中 $F$ 为3D占用感知模型（见后文）。

B. 概述

在这里插入图片描述
如上图所示，首先用主干网络提取图像特征，并使用空间注意力提升到3D空间得到 $V_i\in\mathbb{R}^{H\times W\times Z\times C}$ ，并使用3D反卷积得到更高分辨率的3D体素特征。最后，使用MLP预测3D占用结果。

C. 3D占用感知查询

定义可学习参数 $Q\in\mathbb{R}^{H\times W\times Z\times C}$ （与初始3D体素 $V_i$ 大小相同）。位于网格 $p = (x, y, z)$ 处的查询为 $Q_p\in\mathbb{R}^C$ 。

D. 空间占用交叉注意力

本文使用可变形注意力以减小计算，其中3D体素查询与2D图像特征中的相应区域的特征交互。

首先将查询 $Q_p$ 投影到图像上，采样附近的图像特征，然后按下式得到 $V_i$ ：
$SOCA(Q_p,F)=\frac{1}{|\mathcal{V}_{hit}|}\sum_{i\in\mathcal{V}_{hit}}DA(Q_p,\mathcal{P}(p,i),F^i)\\DA(q,p,x)=\sum_{i'=1}^{N_{head}}W_{i'}\sum_{j'=1}^{N_{key}}A_{i'j'}W'_{i'}x(p+\Delta p_{i'j'})$