[论文阅读] SASA: Semantics-Augmented Set Abstraction for Point-based 3D Object Detection

mingshili

已于 2023-12-18 21:30:28 修改

阅读量1.4k

点赞数 3

分类专栏：物体检测文章标签：目标检测 3d 计算机视觉

于 2022-05-10 22:55:32 首次发布

本文链接：https://blog.csdn.net/mingshili/article/details/124553504

版权

物体检测专栏收录该内容

5 篇文章 0 订阅

订阅专栏

文章目录

1. 主要思想
2. 具体方法
3. 实验支撑
4. 总结启示
5. 相关文献

paper 原论文的链接
code: 源代码链接
readpaper-含笔记: readpaper.com上的论文阅读及笔记

1. 主要思想

通过什么方式，解决了什么问题
一般来说，point-based的方式进行物体检测的时候，采样过程提取前景点越多，对于检测效果越有好处；那么以前的一个paper 3DSSD怎么做的呢？就是考虑将特征之间的点乘距离作为最远点采样FPS的距离的一个因素，和点之间实际的欧式距离进行相加（综合），相加结果作为最远点采样的采样距离，这样采样出来的点会更加偏向于前景点多一些【因为特征越相近的，点乘值越大，因此把实际距离拉大了，被选上的概率增加】。但是这个很明显产生一个问题，就是特征计算是很耗时的，那我们能不能找一些更巧的方法能够在采样的时候获取前景点多一些并且计算复杂度低呢？这篇论文就想到了用MLP对点的特征进行编码，得出每个点的score值，并用监督的方式来保证前景点上score值大，背景点小；这时候我们在做最远点采样求距离的时候，就可以用score去加权这个距离，然后让前景点的距离普遍偏大，采样出更多前景点。

2. 具体方法

说明怎么解决的，具体设计是什么, 有什么启发性思考（作者的创新点）

作者通过添加一个MLP对点的特征进行编码，对每个点生成一个score信息，然后这个score信息被作为semantic map送入到sFPS中，去加权最远点采样的距离信息，使得更多foreground的点保留下来
前景点的score是需要监督的，而可以训练前先通过box生成object点的语义分割label信息，用于监督score的生成。

具体实现: code link

if confidence_mlp is not None:
   shared_mlp = []
   for k in range(len(confidence_mlp)):
       shared_mlp.extend([
           nn.Conv1d(out_channels, confidence_mlp[k], kernel_size=1, bias=False),
           nn.BatchNorm1d(confidence_mlp[k]),
           nn.ReLU()
       ])
       out_channels = confidence_mlp[k]
   shared_mlp.append(
       nn.Conv1d(out_channels, 1, kernel_size=1, bias=True),
   )
   self.confidence_mlp = nn.Sequential(*shared_mlp)

网络整体3DSSD一样，就是把F-FPS换成S-FPS
另外，通过 $\gamma$ 控制score权重的影响程度，论文取1：
好处
- 1）得到前景点，
- 2）前景点带来更细节和有用特征信息；
- 3）对outlier不敏感
- 4）采样起始点选择置信度最高的，也就是score分数最大的；这样做，与FPS，FFPS相比有一定的好处
- 5）有利于难例检测效果提升
- 6）比3DSSD基于特征的采样，提高了前景点的召回率
- 7）点越多，带来的计算效率提升越明显
S-FPS在第一个SA后面才开始用，也就是低层语义信息对于SASA不太有效

3. 实验支撑

记录一些关键实验的结论分析，具有启发性的实验和结论

在这里插入图片描述

$\gamma$ 可以选择10之内的试试，如上表
kitti上的性能与执行效率对比，如下表

4. 总结启示

针对中心思想和实验结论的总结和扩展思考

本文提到过一种观点，就是在原始FPS采样时候背景点有些过多，导致很多点没用或者噪声，从而导致识别性能不高
在3DSSD上的提升1.29%，不算太大，算法检测性能提升，但是执行效率提升2ms也不是很大。
有另外一个好处，就是通过不同的监督信息，去控制SFPS的采样点偏重于什么样的类别，比如，我们要对小的物体进行更好的学习，是不是可以通过加入小物体上特殊点的监督信息，使得这类物体上的点score值更大一些呢
注意一点，前景点不是越多越好，背景点对于类别的感知也有一定的作用；比如在做去除地面后的物体感知时，感知就会导致很多类别产生误检；所以背景类也需要保留一些。