(2021.06, cvpr) Center-Based 3D Object Detection and Tracking

code: GitHub - tianweiy/CenterPoint

一、主要创新点和贡献

1.stage1:  anchor free, 俯视图下，用object中心点的feature回归长宽高，朝向，速度等信息，比anchor bases的方法的false-positive要少，朝向更加准确；

2. stage 2: 用stage 1的框的四个面的3D中心点的feature来refine 3D框，充分利用了局部信息；

3. 预测了速度，之后比较好做tracking；

二、精度

在waymo和nuScenes的检测和tracking任务上都是SOTA 

三、实现

 

CentorPoint的backbone（encoder）还是用pointpillars或者voxelnet，主要创新点还是在各个head的设计，2阶段的设计和tracking的设计上；

3.1 中心点热力图（center heatmap head）

热力图表示中心点的位置

训练时为了应对正负样本不平衡，用了focal loss，然后，gt 用高斯核搞一下，稍微不那么稀疏；

3.2 框 (Regression head)

回归亚像素offset, 离地面高度，3D尺寸，朝向等空间信息

每个特性一个head，用L1损失训练

inference的时候，取热力图peak最高的点位置对应的空间信息

3.3 速度和追踪

预测度，然后用SORT的方式进行追踪

 

3.4 二阶段设计

用stage 1的框的四个面的3D中心点的feature来refine 3D框，充分利用了局部信息；

四、消融实验

4.1 anchor-based 和 center-based对比

可以看出，在框有明显旋转（～45°）时center based好；对小物体效果更加明显（很好奇没有语义信息，这个网络是怎么搞人的朝向的）；

4.2 stage 2 feature 设计

  用中心点+四个面的feature给二阶段做refine效果最好

二阶段inference时间～7ms

二阶段用bev feature就可以了， 不用其它feature，节省一些时间

五、重要参考文献

Objects as Points