【论文笔记】SEED: A Simple and Effective 3D DETR in Point Clouds

原文链接：https://arxiv.org/abs/2407.10749

简介：基于DETR的3D点云检测器难以达到较高的性能，这可能有两个原因：（1）由于点云的稀疏性和分布不均匀，获取合适的物体查询较为困难；（2）利用点云的几何结构进行查询交互还未被充分探索。本文提出SEED，包括两步查询选择（DQS）模块和可变形网格注意力（DGA）模块。DQS首先保留大量查询以保证高召回率，并通过估计质量分数选择高质量查询。DGA则将参考边界框均匀分割为网格，使用预测偏移量实现灵活的感受野，以使模型关注相关区域并捕捉有信息的特征。实验表明，本文方法在Waymo和nuScenes数据集上均能达到sota水平。

0. 方法概述

本文使用基于体素的主干提取3D体素特征，然后转化为BEV特征，并加入位置编码，拉直为序列。随后，使用DQS进行由粗到细的高质量查询获取；并使用SEED解码层，利用DGA实现查询与BEV特征的交互。

1. 两步查询选择模块

DQS包括前景查询选择和质量查询选择。

前景查询选择：使用二元分类器（掩膜预测器）区分BEV的前景和背景，同时为BEV特征加入位置编码，拉直为BEV查询序列$F_{bev}\in {\mathbb{R}}^{HW\times C}$。然后，选择比例为$r$的分数最高的特征作为粗糙查询。分数$S_{bev}$来自掩膜预测器，以保留尽可能多的前景查询。该步骤可记为：
$$Q_c=To{p}_{N_c}(F_{bev},S_{bev})$$

其中$N_c=HWr$为粗糙查询数，$To{p}_N(x,y)$表示根据$y$从$x$中取出前$N$个查询。

随后，输入SEED解码器获取查询与BEV查询序列的特征交互，得到增强查询$Q_c^{\prime }$：
Q c ′ = D e c o d e r ( Q c , F b e v ) Q'_c=Decoder(Q_c,F_{bev})