《论文阅读》OccuSeg: Occupancy-Aware 3D Instance Segmentation

留个笔记自用

OccuSeg: Occupancy-Aware 3D Instance Segmentation

做什么

Instance segmentation实例分割

目标检测（ Object detection）不仅需要提供图像中物体的类别，还需要提供物体的位置（bounding box）。语义分割（ Semantic segmentation）需要预测出输入图像的每一个像素点属于哪一类的标签。实例分割（ instance segmentation）在语义分割的基础上，还需要区分出同一类不同的个体。

这里就是从2D图像的分割转移到了点云上的分割，无非就是在位置信息上多了一维

做了什么

定义一个"3D occupancy size"定义为每个实例占用的体素数量。在此基础上，提出了一种占用感知的三维实例分割方案。聚类方案受益于预测占用大小和聚类占用大小之间的可靠比较，这有助于正确聚类硬样本并避免过度分割。其实也就是根据定义的size来进一步约束聚类

怎么做

首先是整个结构的整体流程，输入是一张以2cm的分辨率而voxel化的3D彩色场景，输入至3D-Unet进行feature extract。然后学习后的特征被转发到特定任务的头部，以学习每个输入voxel的不同表示，包括语义分割，其目的是分配类别标签、特征和空间嵌入，以及占用回归，最后，执行基于图的占用感知聚类方案，为每个voxel生成3D对象实例标签
整体结构以这样的方式呈现