ICCV2021 Group-Free 3D Object Detection via Transformers

代码： https://github.com/zeliu98/ Group-Free-3D

数据集：scannet，sunrgbd

1.摘要

直接从点云中检测3D对象引起关注，为了从不规则点云中提取对象的特征，现有的方法通常有点云分组的步骤，来为一个对象候选分配一组点，然后使用后类似pointnet的网络从分组的点中提取候选特征，但是这种基于分组的方法有个问题，很多分组的方式都是基于手工设计的分组方式，这种不精确的分组会使网络性能下降。

比如pointrcnn，votenet都是手工为对象候选分配一组点，再进行候选特征提取，不精确的分配会影响性能。

本文提出了一种基于点的目标检测方法，该方法基于transformer提取候选对象特征的方法， 利用注意力机制对目标-目标，目标-点的关系进行建模 ，从场景点云中的所有点来计算候选对象特征，每个点的贡献在训练中会被网络自动学习。同时，融合transformer每个阶段的候选特征，从而产生更精确的检测效果。本文基于transformer的decoder结构进一步改进两个方面，首先，更新对象在不同阶段的空间编码，其次，推断过程中使用所有阶段检测结果的集合。

2.方法

2.1网络骨架：pointnet++

对N个场景点降采样后得到M个种子点

2.2 候选点采样：

 考虑了三种方法，最远点采样，k-最近点采样，带非极大值抑制的K-最近点采样。

2.3 对象特征提取

使用六个堆叠的transformer解码器提取对象特征，自注意力模块建模object-object之间的交互，交叉注意力模块建模场景点云-object之间的关系，最终输出更新后的object特征，最后使用更新后的特征对包围框参数进行回归。