Frustum PointNets for 3D Object Detection from RGB-D Data（2018）

3D空间的几何和拓扑结构

直接在3D空间操作可以更自然的参数化以及捕捉 重复、平面、对称等几何结构

2. Related Work

3D Object Detection from RGB-D Data

Front view image based methods（只是介绍了一种表示方法）

Bird’s eye view based methods（难以检测小物体，难以适应垂直方向有多个物体的场景 ）

3D based methods（各种方法各有缺点，如计算大、人工设计几何特征，不灵活等）

Deep Learning on Point Clouds

点云转化成图片或一定分辨率的立体网格，再把2D卷积泛化到3D卷积

利用点云稀疏性设计高效的3DCNN架构

直接处理原始点云（pointnet）

pointnet已经可以做分类和语义分割，本文把它扩展到3D目标检测

3. Problem Definition

输入：点云

目标：在3D空间中分类并且定位目标

3D边框的表示：

size：  h, w, l

center：

orientation： ，相对于预定以的规范姿势

4. 3D Detection with Frustum PointNets

4.1. Frustum Proposal

frustum proposal generation：

① 给定摄像机投影矩阵，2D边框可以被提升到椎体，这个椎体定义了物体的3D搜索空间。

② 收集椎体内所有点形成一个 frustum point cloud

③ 旋转椎体，使椎体的中心轴正交于成像平面，可以提高算法的旋转不变性

基于FPN的模型，先在ImageNet和COCO训练，再在 KITTI 2D object detection dataset 微调

4.2. 3D Instance Segmentation

直接回归物体位置的方法由于物体遮挡及背景复杂不容易

但是物体在空间中是分开的，所以在3D点云中分割是自然且相对容易

使用 3D mask coordinates 预测3D边框中心

3D Instance Segmentation PointNet

① 输入椎体内的点云，预测每个点属于该物体的分数，一个椎体只含有一个感兴趣的物体

    多类别检测时，类别进行onehot编码，并和中间点云特征concat

② 3D Instance Segmentation 后，属于物体的点就可以提取出来（mask）

③ 进一步标准化物体点的坐标，提高平移不变性

    XYZ值减中心

不对点云缩放，坐标变换对结果很重要

4.3. Amodal 3D Box Estimation

Learning-based 3D Alignment by T-Net

（内容不全）