DynaMask: Dynamic Mask Selection for Instance Segmentation CVPR2023

这是全监督实例分割的文章

paper链接：https://arxiv.org/pdf/2303.07868.pdf

摘要：低分辨率mask丢失细节，高分辨率的mask需要较多的计算资源，instance segmentation里面需要预测最优的mask。如何动态的选择最优的mask对不同的实例【包含大目标和tiny的情况下】（本文），first，做以一个双层的FPN可以将两层特征相加以提高mask的分辨率，引入了一种有效的区域级自上而下路径（r-FPN），以整合来自图像级不同阶段的互补上下文和详细信息。Second，为了减少在large mask下的计算资源的消耗，设计MSM在保持高分个精度和效率的情况下为每个实例分配合适的mask（计算开销可忽略不计）。

在该图中给人分配mask是比较简单的事情，但是给体型较小的球分配mask较为困难。

Method：

先上大图

 image到backbone到FPN对不同的目标加入补充信息，同时将P2层进行roialign后的特征按尺度加入，所设计的MSM可以预测四种分辨率的mask。

• 双层FPN

FPN中低层特征有较多的细粒度细节相较于高层特征（就是低层特征图分辨率较大），文章提出区域级FPN按区域特征层次将FPN中的细节特征进行结合（就是按目标的大小，其中tiny，small等都是人为划分的）。

区域级FPN：先利用RoI-align得到区域级的特征，再将P4-P2的特征一次加入，从tiny到large（这里认为是从P5开始做RoI-align）,Lr是r-FPN的层，Pi是i-FPN的层。

特征增加模块FAM:由于上采样和RoI-pooling将会使两种FPN层之间产生空间误差，会导致边界分割效果变差。采用FAM动态的将多尺度特征相加，第一层可变形卷积（deformConv1）负责调整L层的位置使L层和P层对齐，将P与上采样后的L相连接，再通过一个3x3的卷积，得到偏移图Δo，用学习到的偏移将L与P对齐，第二个可行变卷积相当于一个注意力机制，关注物体突出的部分，将FAM加到r-FPN的不同阶段，以提升mask预测效果。

• Mask转换模块

最优mask分配：

MSM主要是由一个注意力模块，两个卷积层和两个全卷积层构成。

目的在于对每个候选(tiny,small and so on)发现一个最优的mask分辨率（全在高分辨率的特征图上分割需要浪费较多的计算资源），MSM将被裁减的区域RoI特征作为输入，并利用Softmax输出概率vector：P

 采用公式算出概率，其中K’应该是除去K之后的其他概率和，这样保证概率大的更大，概率小的更小。

Gumbel-Softmax重新参数化：MSM输出的P需要转化成单热点预测（可采用离散采样完成，但是这个过程不可微分）为什么要转化成单热点预测？

原因： one hot编码是将类别变量转换为机器学习算法易于利用的一种形式的过程（感觉和二进制编码一样）

为了使反向传播能够更新MSM，采用Gumbel-Softmax，以输出P为给定的类别分布，下面的看论文。

目标函数：

Mask Loss：

 Edge Loss：

经验之谈：mask loss在不同mask上大小是相近的，无法区分大目标mask和小目标mask的质量，但是edge loss在不同分辨率下变化的非常大，来显出不同分辨率下的mask 质量

 预算限制：

Edge loss反应在高分辨率下做分割将会有很好的结果，但是并不是每个样本都需要这么高的分辨率（计算资源不够），采用限制策略，将C（FLOPS）与mask分辨率相联系，如何联系：在回归loss里面加上一个惩罚因子

 性能大表：coco2017结果

本文仅是自己读文章的一个记录

这篇博文更加详细（读者自取）：2023 Mask R-CNN 改进：DynaMask: Dynamic Mask Selection for Instance Segmentation 论文笔记_乄洛尘的博客-CSDN博客