点云检测之TransCAR: Transformer-based Camera-And-Radar Fusion for 3D Object Detection

TransCAR是密歇根州立大学在2023年发表在IROS上的一篇论文
论文地址 ：TransCAR

---

前言

  DETR3D是在DETR的基础上，从2D检测拓展到3D检测，利用相机的内外参，将3D点转换到图像坐标系下，获取对应的图像特征。同时，DETR3D还引用了Deformable DETR中的iterative bounding box refinement。关于DETR3D的理解可以参考：DETR3D原理分析与代码解读、DETR3D：将DETR用于3D目标检测任务。

---

一、TransCAR

  相机网络通过环视图像生成 vision-updated object queries，雷达网络对点云进行特征提取和位置编码，将 vision-updated object queries 和点云特征进行特征融合。网络架构如下图所示。

二、Camera Network

  本文基于 nuScenes 数据集，将6个摄像头采集的环绕主车360度的全景图像和初始 3D object queries 作为输入，最后输出 vision-updated 3D object queries。camera network 使用ResNet-101和特征金字塔（FPN）获得多尺度的图像特征，这些多尺度的图像特征为检测不同大小的目标提供了丰富的信息。参考DETR3D，使用6个 Transformer decoder layers 生成 vision-updated 3D object queries，每一层的输出都作为下一层的输入。
  对于第一层 Transformer decoder，随机初始化 $N$（本文中 $N=900$ ）个可学习的3D object queries $Q^0=$ { $q_1^0,q_2^0,\dots ,q_N^0$}，上标为 Transformer decoder 层数，下标为对应的 object queries 索引，网络从训练数据中学习 3D object queries 的位置分布。
  对于后续 Transformer decoder layer，输入为上一层 decoder 输出的 object queries，针对每一个 object queries 都可以编码得到一个 object 的3D中心位置 $P_i$。由于 nuScenes 是由6个相机构成，将这些3D中心点通过相机的内外参矩阵投影到图像特征图上，所以最后会得到 $6\times N$ 个中心点。通过双线性插值对图像特征进行采样，本文采用特征金字塔获取图像特征，对于每一个3D中心点 $P_i$ 会从特征金字塔的每一层中进行采样，采样后的图像特征 $f_i$ 为每一层特征总和。同样由于 nuScenes 的六张图像覆盖了全景，那么显然3D中心点 $P_i$ 不可能会出现在某些视角的图像中，此时找到的图像特征是不可取的，因此采用0填充这些视野外对应的图像信息。
  每一层 Transformer decoder 将 object queries 与图像特征结合，生成更新后的 object queries $Q^l=$ { $q_1^l,q_2^l,\dots ,q_N^l$}，$Q^l$ 为 第 $l$ 层 Transformer decoder 的输出。对于更新后的 $Q^l$ 使用两个神经网络预测3D边界框和类别标签。
  为什么要用环视图像生成 3D object queries，这是因为雷达与摄像头相比雷达的垂直视野有限，位于雷达垂直视野之外的物体将会被遗漏，同时由于雷达更难检测出小物体，然而摄像头具有更好的可见度，因此利用环视图像来预测 3D object queries。

三、Radar Network

  雷达网络旨在学习有用的雷达特征，并对其3D位置进行编码以进行融合，网络架构如下图所示。

  首先对雷达点云在BEV空间的一定范围内进行过滤，通过累积前 5 帧的雷达并将其转换为当前帧等一系列预处理操作将输入的雷达点拓展为36通道。
  使用MLP学习雷达点云特征 $F_r$ 和雷达点的位置编码 $P_r$，两者均为 $M\times C$，$M$ 为点云中点的数量，$C$ 为特征通道数。本文中 $M、C$ 分别为1500和256。将学习到的点云特征和位置编码结合起来作为最终的点云特征 $F_{radar}=(F_r+P_r)$，这些点云特征与来自摄像头网络的 vision-updated 3D object queries 一起用于下一步的 TransCAR 融合。

四、TransCAR Fusion

  TransCAR Fusion 将之前步骤中的 vision-updated 3D object queries 和点云特征作为输入，并输出用于预测 3D 边界框的 fused 3D object queries。 三个 Transformer decoder 在 TransCAR Fusion 模块中以迭代方式工作。 提出 query-radar attention mask 是为了帮助交叉注意层更好地学习 vision-updated 3D object queries 和点云特征之间的交互和关联。

Query-Radar Attention Mask

  当输入的K、Q、V的数量都很大时，此时运算量是非常大的。所以不需要学习每一个之间的交互。对于 $q_i$ 只有其附近的点云特征是有用的，因此我们只需要与附近的点云特征进行交互，没有必要将 $q_i$ 与其他点云特征交互。所以采用了一个二进制的 $N\times M$ 的 query-radar attention mask M，仅当第 i 个查询 $q_i$ 和第 j 个雷达特征 $f_j$ 之间的欧几里德距离小于阈值时，M 中的位置 (i, j) 才被允许关注。 TransCAR 融合中存在三个 query-radar attention mask，对应于三个 Transformer decoder。 这三个掩模的半径分别为 2m、2m 和 1m。

Transformer Camera and Radar Cross-Attention

  三个 Transformer 交叉注意力 decoder 级联，以学习 TransCAR 融合 vision-updated 3D object queries 和点云特征之间的关联。Transformer decoder 架构如下图所示：

  对于初始 decoder ，从相机网络输出的 vision-updated 3D object queries 作为输入 $Q_{img}$，点云特征作为K、V。query-radar attention mask M1 用于防止关注某些不必要的对。 decoder 内的交叉注意力层将输出注意力分数矩阵 $A_1$。对于 $A_1$第 i 行中的M个元素，它们代表第 i 个object queries与所有M个点云特征之间的注意力分数。输出结果为 $F_{rad1}^{\ast }=(A_1\cdot F_{rad})$，将 $F_{rad1}^{\ast }$ 通过前馈网络 ${\Phi }_{FFN1}$，形成 initial fused 3D object queries $Q_{f1}={\Phi }_{FFN1}(Q_{img}+F_{rad1}^{\ast })$。对应 TransCAR 网络架构图中的 $Q_{f1}$。
  接下来的两层与第一层相似。但是这两层的输入为上一层生成的 fused 3D object queries，通过重新计算 query-radar attention mask $M_i$，同时对新生成的 object queries 重新在图像中采样对应的位置的图像特征 $f_{f_i}$，与初始解码器类似，注意力加权的点云特征为 $F_{radi}^{\ast }=(A_i\cdot F_{rad})$，通过前馈网络输出 fused object queries $Q_{fi}={\Phi }_{FF{N}_i}(Q_{f_{i-1}}+F_{ra{d}_i}^{\ast }+f_{f_i})$。

五、Box Encoding and Loss Function

Box Encoding

  我们将3D边界框 3D编码为11位向量$b_{3D}$：
  其中 cls = {c1, …, cn} 是类标签，x、y 和 z 是3D中心位置，h、w 和 l 是3D维度，θ 是航向角，$v_x$ 和 $v_y$ 是沿着 x 和 y 轴的速度。对于每个输出 object queries q，网络预测其类别分数 c 和3D 界框参数 $b$：
  其中∆x，∆y和∆z是预测和上一层 query positions 之间的偏移量。与DETR3D估算Sigmoid空间中的位置偏移不同，我们直接回归3D笛卡尔坐标中的位置偏移。DETR3D使用Sigmoid空间，因为他们希望将位置输出保持在[0,1]之间，所以所有的查询位置都在距离边界内。而对于TransCAR，我们从优化的视觉更新查询开始，其位置相对更准确。因此，我们可以避免可能会影响学习的冗余的非线性激活。

Loss

  损失和DETR中一致采用set-to-set 匈牙利损失计算方式，对预测出的(回归, 分类)结果和GT的(回归, 分类)结果进行匹配。回归损失采用L1，分类损失使用focal loss。

  θ 表示排列集合，${\hat{p}}_{\sigma (i)}(c_i)$ 表示排列索引为 σ(i) 的类 $c_i$ 的概率，$L_{box}$ 是边界框的 L1 差值，$b_i$ 和 ${\hat{b}}_{\sigma (i)}$ 是 groundtruth box 和预测框。

---

总结

  本文提出了 TransCAR，通过环视摄像头得到 vision-updated 3D object queries，从雷达数据中学到点云特征和 vision-updated 3D object queries 之间的交互。
  是否可以对 object queries 进行优化，以减少 decoder 层数。

  本文是自己对论文的理解，如有不同见解，欢迎讨论、指正。