Mask Scoring R-CNN

这是一篇来自地平线的2019CVPR的文章，作者提出的观点很有意思，我觉得可以学习一下他们思考问题，解决问题的角度。

文章地址：https://arxiv.org/pdf/1903.00241.pdf

我们知道MaskRCNN已经提出有几年了，那么这篇文章是出于什么角度写的这篇文章，他是怎么做的，以及他达到了怎么样的效果呢？别着急，让我来一个个回答。

1）写的什么

首先是写的什么，我们知道mask-rcnn中有一个第三分支，它使用来做像素级别的预测，也就是我们所常说的分割的。那么在这个分割的过程中，我们是如何来判断这个分割结果是好是坏呢？在maskrcnn中原作者提供了这样一个想法：用Bbox bounding box的classification confidence作为mask score。你有没有觉得有那么一丝丝不妥当，为什么mask的准确率需要使用bbox的confidence作为结果来预测，也就是说，虽然学习的是mask，但是学习的依据确实bbox，这不精确呀！但是类似于我这样的low人，在读论文时，首先，压根就没想到这个问题，其次想到了这个问题，却没有动手实验。事实上，这篇论文告诉我们，采用bbox的confidence会导致mask score和mask quality不配准。因此文章基于Mask R-CNN提出一个新的框架Mask Scoring R-CNN，能自动学习出mask quality，试图解决不配准的问题。

通过上面这个图，可以简单的看看采取MSrcnn以及maskrcnn之间confidence的差异性，通过对比可以看出msrcnn的结果更加的精确。

2）怎么做的

说到怎么做的，我千说百练，真的不如你见一见：

通过上面这个图，我们可以看出MS-RCNN的结构主要是在MASK-RCNN上发展过来的，简单回顾一下整个结构，首先是一个FPN多层提取特征（虽然没有画出来，但是我相信他是这么做的），然后通过anchor与nms提取出一系列的proposals，之后通过ROI ALIHN对齐，然后后面接class，box，mask以及maskiou各个分支。主要就是将mask分支的输入和输出concat之后，输入一个新的分支，成为maskiou，结构如其名，用来预测mask与background之间的IOU的。

文章中定义了一个Smask作为预测的mask的分数，它代表了像素级别mask与groudtruth之间的IOU。这个Smask值同时应该只对真实种类存在正值，对于背景图应当全部取值为0.这就需要mask score分支胜任两个任务：1 正确分类 2 对真实IOU值进行回归。这两个任务使用一个目标函数是很困难的，为了简化，把这两个任务分成，分类目标以及IOU预测目标，采取这样的一个目标函数：

其中负责预测属于哪类，负责进行IOU值的回归预测。

下面着重介绍一下它的MASKIOU分支：IOU分支的输入是mask分支的输入图像与输出图像，也就是说原始图像和预测出mask的图像，在两个输入合并的时候，采用了一个核为2,stride为2的最大池化层，为了使预测的图像和ROI特征大小相同。我们不对背景图像进行IOU的预测回归。整个maskiou分支，包含有四个卷积层以及三个全连接层。对于四个卷积层，我们将核的大小设为3,数量设为256和mask分支一样。对于三个全连接层，和rcnn分支一样，文中将前两层的神经元设置为1024,最后一层设置为真实的类别数。

3）结果怎么样

通过作者在COCO2017上的试验结果图，我们发现MS-RCNN相比较之前的方法是有较大提升的。

今天的介绍就到这里，谢谢大家，我是钱多多

学术交流可以关注我的公众号，后台留言，粉丝不多，看到必回。卑微小钱在线祈求