Amodal Instance Segmentation with KINS Dataset论文理解

最新推荐文章于 2024-06-17 09:18:28 发布

KirutoCode

最新推荐文章于 2024-06-17 09:18:28 发布

阅读量3.2k

点赞数 2

本文链接：https://blog.csdn.net/McEason/article/details/104346679

版权

本文介绍了Amodal Instance Segmentation的研究，重点探讨了KINS数据集的创建和Multi-Level Coding方法，旨在解决看不见部分的实例分割问题。通过在分割网络基础上添加遮挡分类分支，结合全局信息进行遮挡推理，提高对遮挡区域的预测准确性。

摘要由CSDN通过智能技术生成

解决什么问题

对看不见的部分进行实例分割，这种数据集和方法现在都很少

本文创新点\贡献

新的数据集，新的任务，数据集是增强的KITTI
提出Multi-Level Coding，利用现有的一些分割网络来预测看不见的部分

前人方法

[ Amodal instance segmentation ] 2016
[ Learning to see the invisible: End-toend trainable amodal instance segmentation ] 2019
[ Semantic amodal segmentation] 2017

方法

方法概括

先使用一个常见的分割网络，在box的回归和分类的分支加上个遮挡的分支，这个新的分支用来预测当前RoI有没有发生遮挡，如果发生遮挡的话，通过MLC，将box分支、遮挡分类分支、mask分支的所有特征融合到一起，再做mask处理，得到最后的Amodal分割。

Multi-Level Coding

作者的方法是提取高级语义信息来指导分割分支来更好的推理遮挡的部位。

现在一些方法backbone和mask head之间的距离很长，容易丢失一些信息，而MLC能放大mask预测中的全局信息，这个分支只针对正的RoIs，只有正RoI的特征会被提取，送到MLC中作为全局指导。

正样本就是带有遮挡的RoI吧

bbox和遮挡的分类分支的大小是 $7\times 7$ ，mask分支的大小是 $14 \times 14$ ，所以在送入mask分支之前，要做一些处理，这里有两个模组，分别用来提取和合并
在这里插入图片描述

这里的卷积核的大小是 $C\times C \times 3 \times 3$

最低0.47元/天解锁文章