【CVPR2024】RadarDistill: Boosting Radar-based Object Detection Performance via Knowledge Distillation

RadarDistill: Boosting Radar-based Object Detection Performance via Knowledge Distillation from LiDAR Features
原文链接：https://arxiv.org/abs/2403.05061

简介：雷达数据稀疏而富有噪声，寻找合适的表达较为困难。本文提出RadarDistill，利用激光雷达数据和知识蒸馏增强雷达特征。模型包含3个关键组件：跨模态对齐（CMA），基于激活的特征蒸馏（AFD），和基于提案的特征蒸馏（PFD）。CMA通过多层膨胀操作提高雷达特征密度，AFD将激光雷达激活强度较高区域的知识迁移到雷达模态，PFD则指导雷达模态的提案特征模拟激光雷达特征。在nuScenes数据集上的实验表明，本文方法能达到雷达单一模态的SotA性能，且能大幅提升雷达-图像融合方法的性能。

1. 准备知识

本文使用PillarNet作为激光雷达检测器和雷达检测器的基准方案。记激光雷达和雷达的稀疏2D柱体特征分别为$F_{ldr}^{2D}$和$F_{rdr}^{2D}$，并定义低级BEV特征$F_{mod}^l\in {\mathbb{R}}^{C\times \frac{H}{8}\times \frac{W}{8}}$：

$$F_{mod}^l=\text{SparseEnc}(F_{mod}^{2D})$$

其中 m o d ∈ { l d r , r d r } mod\in\{ldr,rdr\} mod∈{ldr,rdr}，SparseEnc表示2D稀疏卷积编码器。

类似地，定义高级BEV特征$F_{mod}^h\in {\mathbb{R}}^{C\times \frac{H}{8}\times \frac{W}{8}}$：

$$F_{mod}^h=\text{DenseEnc}(F_{mod}^l)$$

其中DenseEnc表示2D密集卷积编码器。

高级BEV特征会输入CenterPoint的头部，预测分类热图$H^{cls}$、回归热图$H^{reg}$和IoU分数热图$H^{IoU}$：

$$H_{mod}^{cls},H_{mod}^{reg},H_{mod}^{IoU}=\text{CenterHead}(F_{mod}^h)$$

2. 跨模态对齐

由于稀疏性不同，雷达的非空柱体数仅占激光雷达非空柱体数的一小部分。直接将激光雷达的非空柱体特征迁移到雷达的相应空柱体是不可行的，因此需要进行跨模态对齐（CMA）。

CMA模块如图所示，其中下采样模块使用可变形卷积（DCN）提取重要特征，并使用ConvNeXt V2块聚合。上采样块使用2D转置卷积进行膨胀，以密集化特征的周边区域。聚合模块为拼接+$1\times 1$卷积，执行类似跳跃连接的操作。

通过CMA后，雷达的低级特征变得更加密集。

3. 基于激活的特征蒸馏

AFD使用激活感知的特征匹配对齐$F^{a^{(n)}}$与$F_{ldr}^l$。

特征的“激活区域”被定义为特征强度值沿通道维度求和后大于0的区域，其余区域被定义为“未激活区域”。激活掩膜$M_{i,j}^{ldr},M_{i,j}^{a^{(n)}}$用于表达激活区域。

蒸馏区域同样分为两类：激活区域（AR，雷达与激光雷达均激活）和未激活区域（IR，雷达激活而激光雷达未激活）。AR与IR是不平衡的，其中后者为主要区域。本文使用AR与IR的像素数之比表达IR的相对自适应权重$\rho$。

定义掩膜$M^{se{p}^{(n)}}$区分上述区域：

$$\begin{gathered} A{R}^{(n)}=(M^{a^{(n)}}=1)\&(M^{ldr}=1), \\ I{R}^{(n)}=(M^{a^{(n)}}=1)\&(M^{ldr}=0), \\ {M}_{i,j}^{se{p}^{(n)}}=\{\begin{array}{ll}\alpha ,& 若(i,j)\in A{R}^{(n)}\\ {\rho }^{(n)}\times \beta ,& 若(i,j)\in I{R}^{(n)}\\ 0,& 否则\end{array}, \\ {\rho }^{(n)}=\frac{N_{A{R}^{(n)}}}{N_{I{R}^{(n)}}} \end{gathered}$$

其中$\alpha$与$\beta$为平衡参数，$N$为像素数。

蒸馏损失$L_{low}^{(n)}$为

$$L_{low}^{(n)}=\sum _{c=1}^C\sum _{i=1}^H\sum _{j=1}^W{M}_{i,j}^{se{p}^{(n)}}(F_{i,j}^{ldr}-F_{i,j}^{a^{(n)}}{)}^2$$

激活掩膜损失$L_{mask}^{(n)}$保证雷达的激活掩膜接近激光雷达的激活掩膜：

$$L_{low}^{(n)}=\sum _{i=1}^H\sum _{j=1}^W|M_{i,j}^{ldr}-\sigma (F_{i,j}^{a^{(n)}})|$$

其中$\sigma$为sigmoid函数。

最终的AFD损失为

$$L_{AFD}=\frac{1}{2}\sum _{n=1}^2(L_{low}^{(n)}+L_{mask}^{(n)})$$

本文AFD未考虑激光雷达激活、但雷达未激活的区域，以及激光雷达和雷达均未激活的区域。这可能是因为：雷达特征膨胀后仍为未激活的区域离雷达原始测量太远，提取的特征不可靠；而后者的蒸馏没有意义。

4. 基于提案的特征蒸馏

PFD使用提案级别的特征匹配，以减少高级特征的差异。其使用雷达模态的预测结果，指导雷达网络生成类似激光雷达的物体特征，同时抑制误检的特征。

根据文中描述，可画图如下：

雷达网络的DenseEnc按上图生成高级BEV特征后，对$F_{rdr}^{h^{(m)}}$使用PFD。

首先将雷达热图$H_{rdr}^{cls}$和真实热图$H_{GT}^{cls}$阈值化（阈值取0.1），以确认TP、FP和FN：

$$\begin{gathered} TP=(H_{GT}^{cls}>\sigma )\&(H_{rdr}^{cls}>\sigma ), \\ FP=(H_{GT}^{cls}<\sigma )\&(H_{rdr}^{cls}>\sigma ), \\ FN=(H_{GT}^{cls}>\sigma )\&(H_{rdr}^{cls}<\sigma ) \end{gathered}$$

TP和FN为前景相关的重要区域，被视为同一类；而FP被划到另一类。缩放掩膜定义为：

$$M_{i,j}^{scale}=\{\begin{array}{ll}\frac{{\lambda }_1}{N_{TP}+N_{FN}},& 若(i,j)\in (TP\cup FN),\\ \frac{{\lambda }_2}{N_{FP}},& 若(i,j)\in FP,\\ 0,& 否则\end{array}$$

其中${\lambda }_1,{\lambda }_2$为平衡参数。

跨模态特征尺度的对齐（归一化）即对$F_{ldr}^h$和$F_{rdr}^{h^{(m)}}$使用通道softmax：

$$S_{c,:,:}^{mod}=\frac{\exp (\frac{F_{c,:,:}^{mod}}{\tau })}{{\sum }_{c^{\ast }=1}^C\exp (\frac{F_{c^{\ast },:,:}^{mod}}{\tau })}$$

其中$\tau$为控制分布平滑度的超参数，设为0.5。

蒸馏损失$L_{high}^{(m)}$为

$$L_{high}^{(m)}=\sum _{c=1}^C\sum _{i=1}^H\sum _{j=1}^W{M}_{i,j}^{scale}|S_{c,i,j}^{ldr}-S_{c,i,j}^{h^{(m)}}|$$

注意到在上述蒸馏时，由于TP、FP、FN是基于真实热图判断的，故没有考虑激光雷达的检测正确性。换句话说，在激光雷达误检/漏检的情况，雷达蒸馏到的知识仍可能导致误检/漏检。

PFD损失为

$$L_{PFD}=\frac{1}{2}\sum _{m=1}^2{L}_{high}^{(m)}$$

5. 总体损失函数

激光雷达网络为预训练网络，在蒸馏过程被冻结。雷达网络的损失函数为检测损失、AFD损失和PFD损失的加权和。

总结：本文训练时的模型是一种师生模型，激光雷达网络为教师模型，而雷达网络为学生模型。测试时，只需雷达网络（学生模型）。
若将PFD中的真实热图替换为激光雷达热图，将检测损失中的检测真值替换为激光雷达的检测结果，该模型应该可以延伸到无标签下的雷达模型训练。