语义分割和实例分割_学习《联合分割点云中的实例和语义》论文（三）联合分割模块...

下面介绍《Associatively Segmenting Instances and Semantics in Point Clouds》中论文方法中的联合分割模块。联合分割模块分成两路，一路是segment aware的实例分割，就是富有语义感知的实例分割，另一路是instances的语义分割，也就是融合了实例的语义分割。下面分别介绍：

第一个：富有语义的实例分割

富有语义的实例分割是上图中红色虚线的一路。在语义特征空间中点的位置是根据类别决定的，属于同一个语义类别的点在语义类别空间中是相近的，不属于同一个语义类别的点在语义类别空间中是远的，从这个特点出发， 论文中的方法把实例特征和语义特征按元素相加，中间有一个adaptation，后面有adaptation study，这样其实相当于一种learnable的方式，把属于不同类别的实例，在实例特征空间里面排斥开。这样有利后面进一步学习实例的嵌入向量。

第二个：融合实例的语义分割

融合实例的语义分割是上图中红色曲线部分。它的子动机是一个点在分割的时候，之所以被分为哪一类，是因为这个点属于的那个实例是属于那一类，所以在做预测时，如果能够考虑它所在的实例，是会有帮助。它的大致流程其实是，使用实例嵌入向量做knn，就可以知道每一个点在实例嵌入向量空间中最近的k个点就是属于同一个实例的点，有了这个索引之后，可以把语义特征组合组合再进行融合，得到新的语义特征，就是把属于同一个实例的语义特征进行一个融合。

然后得到新的np*nf的语义特征，用来后面做做语义分类。上图中融合采用的就是channel-wise的max aggregation。 论文做了很多实验，在s3dis数据集（S3DIS全称斯坦福三维室内分割数据集Stanford 3D Indoor Semantics Dataset，该数据集包括6个场景中271个房间的扫描数据。点云中的每一个点都指定了分割类别和实例类别。 ）上。它要进行室内场景的分割，下图是实例分割的结果：

论文采用了4种（上图）不同的指标，两种不同的测试方式，就是在s3dis数据集上采用的两种通用方式,一种是area 5子集上测，一种6-fold上做 cross validation，使用pointnet和pointnet两种不同的主干网络，测试的结论是论文的base line比之前的方法要好，论文中的联合模块性能可以提升1~3个点。

论文另外一个实验采用了三个指标（上图），分别是mAcc， mIoU，overall accuracy (oAcc),使用了两种测试方式，两种主干网络。结论也是一致的。联合分割可以进一步的提升1~3个点。这次实验在mIoU上达到了59.3%的结果。

论文还进行了计算速度的测试， 跟之前的方法比如sgpn，计算4096*9的点云，就是4096个点，每个点是9维的向量，需要726毫秒。论文同样采用pointnet做为主干网络比它快三倍多，使用pointnet++会更快一些。

上图展示了在S3DIS上的结果。a列是输入的点云，b列是实例分割的结果，c列是实例分割的ground truth，d列是语义分割结果，e列是语义的ground truth。 可以看到实例分割，不同颜色表示不同的实例，语义分割不同颜色表示不同类别，像上图中d列第二行的图像中蓝色表示椅子，桌子用棕色。

论文还在shapenet数据集（包含3D模型，和3d模型的类别标注的数据集，覆盖了常用的3D数据集PASCAL 3D+。它涵盖55个常见的对象类别，有大约51,300个3D模型），它是一个部件的数据集，把桌子椅子小车分成不同的部件，如桌子腿，桌子背等。

测试结果也和前面一致。有稳定的提升。定性的是可以看到它在shapenet数据集上实例分割结果，如前图中的小轿车（a列第一行），小轿车的不同部件，4个轮胎，（a列第二行）摩托车的两个轮胎，（a列第三行）椅子4条腿都分成了不同的实例，效果还是不错的。前图中的第三列和第四列是语义分割。

最后论文对提升进行了分析，一种是把模块进行了拆分，然后看每一块的作用，就得到上图中左图。另一种是按类别的提升，s3dis有13个类，可以看到在每一个类上的涨点分布情况。上图左图是实例分割的涨点，涨点比较大的是board和window等类，他们涨点比较多事因为白板和窗户都是嵌入到墙上的，如果直接做实例分割，很容易被认为是同一个实例，由于有语义帮助，可以知道它是不同类别，不同类别就是属于不同实例，这也就是联合分割的意义所在。右图是语义分割的涨点，它涨点比较大的是table，chair等，结构比较复杂的实例，如果能够融合整个实例进行语义预测，可以帮助语义分割做的更好，所以它的涨点会更多一些。

总结下来，论文有三个贡献：

一．  提出一个比较合理的base line，同时分割3d点云的实例和语义。

二．  提出联合分割框架，把实例分割和语义分割两个任务给联系起来。它和全景分割比较相似，
但不一样在的是全景分割是需要得到统一的输出格式，而论文是寻找两种任务之间的联系。

三．  论文中的方法比之前的方法在实例分割上好很多，然在语义分割上也有非常明显的提升。

Code：

WXinlong/ASIS​github.com

（本文完）

参看前文：

飘哥：学习《联合分割点云中的实例和语义》论文（一）如何获得点云以及如何在点云上做深度学习​zhuanlan.zhihu.com

飘哥：学习《联合分割点云中的实例和语义》论文（二）SGPN网络工作流程​zhuanlan.zhihu.com