每日论文3---CVPR2022 3D目标检测

A Versatile multi-view framework for lidar-based 3d object detection with guidance from panoptic segmentation

作者通过全景分割作为辅助任务来指导3D目标检测工作,此外,作者认为利用Range-View(RV)的网络特征可以指导基于BEV的检测模型,减少BEV投影中特征表示的稀疏性。

模型整体结构

作者的3D全景分割分支和3D目标检测分支分别使用Cluster-free 3D Panoptic Segmentation (CPSeg)和CenterPoint。
1.CPSeg采用双解码器架构进行全景分割,无需生成对象建议或使用聚类算法。backbone采用激光雷达点云的RV表示,并提供多尺度特征图。语义解码器提供语义标签,实例解码器预测对象质心。与语义解码器仅利用encoded feature maps不同,实例解码器受益于计算曲面法线的附加信息。
2.CenterPoint这篇文章的灵感来自于图像中的目标检测算法CenterNet,该模型是一种两阶段的三维物体检测方法,two-stage考虑的是BEV平面的feature,并考虑了第一阶段proposal的四个边所处位置信息。
在这里插入图片描述

Attention-based RV-BEV Feature Weighting Module

如上图所示,灰色块表示CPSeg模型,蓝色块表示one-stage CenterPoint模型。绿色块是在多任务框架下结合三维全景分割和三维目标检测提出的模块。
模型分别使用Centerpoint和CPSeg提取点云特征,随后进行Multi-View Backbone Augmentation。
在这里插入图片描述

如上图所示,模型使用类似于CBAM的注意力模块来聚合RV中各个层的信息以及融合RV和BEV中的feature。其中channel-wise计算各channel中的权重,而space-wise计算空间个点的权重。

Class-wise Foreground Attention Module

该模块从CPSeg中获取每个前景对象类别的估计概率图。将这些映射投影到BEV平面上,通过最大池化进行下采样,以匹配组合的RV-BEV特征映射的分辨率。对于每个前景对象类别,创建一个类级注意分支,该分支在特定类的概率图和输入特征图之间进行元素级乘法。总体而言,该模块将***前景语义信息嵌入到特征图中,对分类和定位任务都有帮助***。

Center Density Heatmap Module

我们知道,3D检测中更加关心前景点。因此该模块的目的是为检测头提供实例级信息。从CPSeg估算的每个点的三维盒中心偏移量被用来创建3D boxes中心潜在位置的hotmap,来指导检测头。更具体地说,来自CPSeg的预估前景掩码被用来过滤掉背景点,因为从这些点的中心偏移是没有意义的。剩余的前景点根据偏移预测移动,并投影到BEV平面上。
在这里插入图片描述
其中C(x, y)为投影点个数,H(x, y)为生成的中心密度热图,x、y分别为BEV平面的水平坐标和垂直坐标,热力图如下所示。
在这里插入图片描述
在这里插入图片描述
该文的baseline为HotSpot,一篇2020年的ECCV,其也是预测中心点位置的anchor-free3D检测模型。

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员毛师傅

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值