RefineMask：实例分割，使用细粒度信息增强性能

最新推荐文章于 2024-05-22 15:57:48 发布

我爱计算机视觉

最新推荐文章于 2024-05-22 15:57:48 发布

阅读量2.7k

点赞数

文章标签：卷积计算机视觉人工智能深度学习机器学习

本文链接：https://blog.csdn.net/moxibingdao/article/details/119194201

版权

标题：RefineMask: Towards High-Quality Instance Segmentation with Fine-Grained Features

论文：https://arxiv.org/pdf/2104.08569.pdf
代码：https://github.com/zhanggang001/RefineMask/

动机

实例分割是计算机视觉领域中比较有挑战性的任务之一，Mask R-CNN是实例分割任务的经典方法，但是包括Mask R-CNN在内的多种方法，都会在实例分割时损失一些细节信息，如下图所示：

从上图中可以看出，Mask R-CNN总体而言有比较高的实例分割精度，但其在边界区域的精度不是很高。造成这种现象的原因有二：（1）深层次feature map的空间尺寸通常比较小，难以保留细节信息；（2）ROI Pooling操作进一步减小了feature map的空间尺寸，造成了细节信息的丢失。

与实例分割不同的是，语义分割任务不需要使用高层次特征区分不同的实例，因而其feature map的空间尺寸比较大，因此能够产生高质量的分割结果，尤其是在分割的边界有比较高的质量，如上图中图（b）所示。

作者提出了RefineMask，在二阶段实例分割框架的基础上，使用细粒度特征弥补细节丢失，如上图中图（c）所示。

网络总体结构

RefineMask总体结构如下图所示：

RefineMask以FPN目标检测器为基础，上图中省略了detection head。RefineMask在检测器基础上额外增加了semantic head和mask head。

semantic head使用FPN中尺寸最高的feature map作为输入，semantic head中不包含下采样等空间压缩操作，因此semantic head的输出和输入有同样的尺寸，从而保证其输出有丰富的细节信息。semantic head的输出用于辅助mask head做实例分割。

mask head使用“多阶段”的形式完成实例分割任务，在每个阶段中包含Semantic Fusion Module(SFM)，mask head会融合包含细粒度信息的semantic feature和semantic mask，然后增加feature map尺寸用于更细粒度的mask预测。

此外，在mask head中还包含Boundary-Aware Refinement(BAR)操作，增强对实例边界的预测能力。

semantic head包含4个卷积层，用于提取整张输入图像的语义信息，还包含1个二值分类器用于输出每个像素点属于前景的概率。使用二值交叉熵损失函数训练semantic head。

将semantic feature和semantic mask统称为细粒度特征，在mask head中，使用semantic head输出的细粒度特征补充细节信息，从而预测出高质量的instance mask。

在mask head中，首先有一个RoIAlign操作，输出的feature map，紧接着是2个卷积操作产生instance feature，然后使用1个卷积操作预测instance mask，在RefineMask中将该mask称作initial mask，作为后续操作的输入之一。

mask head中的主体操作为multi-stage refinement，每个stage包含4个输入：（1）instance feature，（2）instance mask，（3）semantic feature，（4）semantic mask。

在每个stage中，Semantic Fusion Module(SFM)融合上述4个输入，然后进行上采样操作，得到尺寸更大的特征。SFM的结构如下图所示：

如上图所示，SFM中首先包含卷积操作用于融合多个输入、减少通道数；紧接着是3个并行的卷积，每个卷积都有不同的dilation参数设置，用于提取不同感受野的特征；最后将instance mask、semantic mask与融合后的特征进行concat操作，作为SFM输出。

在mask head中包含多个SFM，完成多次特征上采样操作。

BAR的目的是更关注mask的边界信息，以提高网络对mask边界细节的预测能力。

边界区域的定义

使用表示第个stage的instance mask，的尺寸为

关注