Amodal Instance Segmentation with KINS Dataset论文理解

解决什么问题

对看不见的部分进行实例分割，这种数据集和方法现在都很少

---

本文创新点\贡献

1. 新的数据集，新的任务，数据集是增强的KITTI
2. 提出Multi-Level Coding，利用现有的一些分割网络来预测看不见的部分

---

前人方法

[ Amodal instance segmentation ] 2016
[ Learning to see the invisible: End-toend trainable amodal instance segmentation ] 2019
[ Semantic amodal segmentation] 2017

---

方法

方法概括

先使用一个常见的分割网络，在box的回归和分类的分支加上个遮挡的分支，这个新的分支用来预测当前RoI有没有发生遮挡，如果发生遮挡的话，通过MLC，将box分支、遮挡分类分支、mask分支的所有特征融合到一起，再做mask处理，得到最后的Amodal分割。

Multi-Level Coding

作者的方法是提取高级语义信息来指导分割分支来更好的推理遮挡的部位。

现在一些方法backbone和mask head之间的距离很长，容易丢失一些信息，而MLC能放大mask预测中的全局信息，这个分支只针对正的RoIs，只有正RoI的特征会被提取，送到MLC中作为全局指导。

正样本就是带有遮挡的RoI吧

bbox和遮挡的分类分支的大小是$7\times 7$，mask分支的大小是$14\times 14$，所以在送入mask分支之前，要做一些处理，这里有两个模组，分别用来提取和合并

这里的卷积核的大小是$C\times$