三维目标检测：Frustum PointNets for 3D Object Detection from RGB-D Data

奥比中光3D视觉开发者社区

于 2022-07-04 10:45:00 发布

阅读量1.1k

点赞数 6

分类专栏： 3D视觉文章标签：目标检测 3d 计算机视觉

原文链接：https://mp.weixin.qq.com/s/2DUkNyApOqkLx1Ge8OHLGg

版权

3D视觉专栏收录该内容

144 篇文章 70 订阅

订阅专栏

作者丨疯子_Zhang
编辑丨3D视觉开发者社区
✨如果觉得文章内容不错，别忘了三连支持下哦😘~

Frustum PointNets for 3D Object Detection from RGB-D Data
（有代码，级联的方法）

简要说明

问题：通常的三维目标（用图像获得，3D体素）检测方法忽略了3D目标的自然状态和3D数据的不变性；
方案：直接在raw点云上进行操作；
进入新的问题：如何高效的在较大的尺度的3D点云空间中定位目标物体；
方法：利用有效、成熟的2D目标检测器结果融合到点云空间中实现3D目标检测；
效果：在选取的区域内直接操作点云：效率较高，但对强遮挡的同类目标效果欠佳；

Contributions（不对应原文）

Ø使用2D目标检测结果，生成3维的锥形建议区域实现3D目标检测，省略直接在大范围的空间中检索，也提升了目标的识别准确度；

Ø从原始点云中直接分割出3D目标的mask和回归3D bounding box；

Ø该方法具有较高的检测精度和较高的执行效率；

具体方案

降低搜索区域的方法：
1）通过2D目标检测，提取3D的目标锥形点云区域；
2）两个变化的PointNet网络模型实现分割和目标检测；分割是实现的实例分割，回归网络来估计目标的三维框的位置；

由于投影矩阵是已知的，这样就可以从二维图像区域得到三维截锥了；
在这里插入图片描述
包含三个模块：
1）锥形建议区域；
2）3D实例分割；
3）3D模态目标估计；

锥形建议区域：

在这里插入图片描述
由于现在的3维的传感器相对于2维图像传感器效果较差，因此选用图像进行目标的识别和二维目标区域定位；

已知一个投影矩阵，二维的区域就可以变换为平头锥形的三维区域；该区域内所有的点视为平头锥点云；由于锥形会朝向不同的方向.
blog.csdnimg.cn/e7cb4e48db734b6d84c774b40613efc9.png)

因此本文将其变换到垂直于图像的平面，对这些椎体进行标准归一化，作者说有助于提升目标的旋转不变性（原因简单：多种目标旋转过来的进行学习，测试过程中能够检测来自多个方向）。
在这里插入图片描述

2维目标检测模型在ImageNet上和MS-COCO上进行了预训练，然后在KITTI 2D 上进行微调；

三维实例分割

有了2D目标检测区域和锥形的目标区域如何得到目标对应的3D点云？

考虑到目标在3D的自然状态下是自然分离的，使用3维的实例分割，得到粗略的目标3D点云；
本文方法一个锥形体只分割出一个点云对象，被完全遮挡的点云视为背景；

从深度图中直接估计3D目标；3D bounding box；
考虑到目标在3D的自然状态下是自然分离的，3D点云分割是比图像上的更加容易和更加自然的；基于这种事实，本文使用3D的实例分割；这也就是为什么要使用3维的实例分割。类似于mask-RCNN分割（是不是目标）；通过3D实例分割可以得到粗略属于该目标的点云；
在这里插入图片描述