[MS R-CNN] Mask Scoring R-CNN(CVPR. 2019 oral)

Ah丶Weii

于 2021-04-23 13:09:59 发布

阅读量257

点赞数

分类专栏：笔记

本文链接：https://blog.csdn.net/weixin_43823854/article/details/116051710

版权

笔记专栏收录该内容

44 篇文章 4 订阅

订阅专栏

MaskScoringR-CNN通过引入MaskIOUHead改进了MaskR-CNN，解决了分类得分无法准确反映mask质量的问题。文章详细介绍了MaskIOUHead的实现过程，即在原有的mask分支基础上，额外计算预测mask与GTmask的IOU，以l2loss进行训练。在推断阶段，使用MaskIOU得分与分类得分结合来评估mask的质量，提高了分割精度。

摘要由CSDN通过智能技术生成

1. Motivation

Mask Scoring R-CNN 是在Mask R-CNN的基础之上，由于分类的得分scores没法很好的反映mask的quality，例如有些很高的scores 但是mask的quality却比较差，并且随着cls scores的增大，mask quality并不是呈现一种线性的关系。

因此将Smask = Scls * Smask_iou，decompose成2个部分，第一个cls的得分可以直接用faster rcnn的检测分类分支，而maskiou作为本文的一个创新点。

2. Methods

在Mask R-CNN的基础之上，添加了Mask IOU Head 分支，具体就是将mask 分支得到的28 x 28 x C提取每个ROI对应的Ci类别的28 x 28 x 1，然后和ROI输入的特征14 x 14 x 256进行cat操作，得到257的channel，接着和常规操作一样，进行卷积，FC线性操作，最终得到1 x 1 x C的pred Mask IOU。

在Mask IOU Head的训练中，通过原mask 分支生成的28 x 28 x1 的pred mask与此proposal（与mask rcnn的training sample一致，与gt box的IOU需要大于0.5才进行后续检测分割操作）对应的GT mask的Mask IOU，作为gt Mask IOU，网络输出pred Mask IOU，然后使用l2 loss进行计算gt Mask IOU 和pred Mask IOU。

在inference过程中，和Mask R-CNN一样，由ROI部分，经过SoftNMS得到topK个proposal boxes，然后产生N个Mask。

不同的在于，只是使用Mask IOU head 得到的IOU得分Smask，乘上Scls的部分，作为最后衡量此Mask 质量好坏的指标。