3D空间的几何和拓扑结构
直接在3D空间操作可以更自然的参数化以及捕捉 重复、平面、对称等几何结构
2. Related Work
3D Object Detection from RGB-D Data
Front view image based methods(只是介绍了一种表示方法)
Bird’s eye view based methods(难以检测小物体,难以适应垂直方向有多个物体的场景
)
3D based methods(各种方法各有缺点,如计算大、人工设计几何特征,不灵活等)
Deep Learning on Point Clouds
点云转化成图片或一定分辨率的立体网格,再把2D卷积泛化到3D卷积
利用点云稀疏性设计高效的3DCNN架构
直接处理原始点云(pointnet)
pointnet已经可以做分类和语义分割,本文把它扩展到3D目标检测
3. Problem Definition
输入:点云
目标:在3D空间中分类并且定位目标
3D边框的表示:
size:
h, w, l
center:
![](https://i-blog.csdnimg.cn/blog_migrate/475ca91617c33d324c50fc040bfe00d8.png)
orientation:
,相对于预定以的规范姿势
![](https://i-blog.csdnimg.cn/blog_migrate/e19b3ab17795d9a12ffd11880560ff9e.png)
4. 3D Detection with Frustum PointNets
![](https://i-blog.csdnimg.cn/blog_migrate/ec54e707a688cd10e451988cfc78bc5d.png)
4.1. Frustum Proposal
frustum proposal generation:
① 给定摄像机投影矩阵,2D边框可以被提升到椎体,这个椎体定义了物体的3D搜索空间。
② 收集椎体内所有点形成一个 frustum point cloud
③ 旋转椎体,使椎体的中心轴正交于成像平面,可以提高算法的旋转不变性
基于FPN的模型,先在ImageNet和COCO训练,再在
KITTI 2D object detection dataset 微调
4.2. 3D Instance Segmentation
直接回归物体位置的方法由于物体遮挡及背景复杂不容易
但是物体在空间中是分开的,所以在3D点云中分割是自然且相对容易
使用 3D mask coordinates 预测3D边框中心
3D Instance Segmentation PointNet
① 输入椎体内的点云,预测每个点属于该物体的分数,一个椎体只含有一个感兴趣的物体
多类别检测时,类别进行onehot编码,并和中间点云特征concat
② 3D Instance Segmentation 后,属于物体的点就可以提取出来(mask)
③ 进一步标准化物体点的坐标,提高平移不变性
XYZ值减中心
不对点云缩放,坐标变换对结果很重要
4.3. Amodal 3D Box Estimation
Learning-based 3D Alignment by T-Net
(内容不全)