《Per-Pixel Classification is Not All You Needfor Semantic Segmentation》[Maskformer]--论文阅读笔记

最新推荐文章于 2024-05-08 20:44:06 发布

「已注销」

最新推荐文章于 2024-05-08 20:44:06 发布

阅读量1k

点赞数

分类专栏： # 语义分割文章标签：深度学习计算机视觉

本文链接：https://blog.csdn.net/SherlockWang98/article/details/126240944

版权

语义分割专栏收录该内容

3 篇文章 0 订阅

订阅专栏

论文地址：https://arxiv.org/abs/2107.06278

代码：还没找

一、提出原因

基于mask的分类可以对于语义分割和实例分割可以采用统一的模型、loss、训练策略和优化方案吗？

基于mask的分类是否优于per-pixel的分类方法？

二、创新点

三、方法

3.1 掩码分类

（1）将图片划分（是在一张图上划分还是分多个通道呢？）成 $N$ 个区域， $N$ 并不需要等于 $K$ ，用二值mask表示：

$\left\{m_{i} \mid m_{i} \in[0,1]^{H \times W}\right\}_{i=1}^{N}$

（2）将每个区域视为一个整体，与 $K$ 类别的分布产生联系。

i.e. 为了mask分类：定义所需输出 $z$ 是 $N$ 个概率-掩码对：

$z=\left\{\left(p_{i}, m_{i}\right)\right\}_{i=1}^{N}$

这里的概率 $p_{i} \in \Delta^{K+1}$ ，还存在一个不属于任何类别，即"no object"类的概率。

训练mask分类任务，真实的gt为：

$z^{\mathrm{gt}}=\left\{\left(c_{i}^{\mathrm{gt}}, m_{i}^{\mathrm{gt}}\right) \mid c_{i}^{\mathrm{gt}} \in\{1, \ldots, K\}, m_{i}^{\mathrm{gt}} \in\{0,1\}^{H \times W}\right\}_{i=1}^{N^{\mathrm{gt}}}$

这里的c是第i个区域的真实类别，并且一般设置z的个数>zgt的个数，所以用“no object”填充实现z和zgt的一对一匹配。

对于分割任务，基本的match方法是：第i个预测与带有i的真实标签的gt匹配，如果没有在gt中则与“no object”匹配。发现a bipartite matching-based的方法更好，使用class和mask预测，比如： $-p_{i}\left(c_{j}^{\mathrm{gt}}\right)+\mathcal{L}_{\text {mask }}\left(m_{i}, m_{j}^{\mathrm{gt}}\right)$ 。其中的mask loss $\mathcal{L}_{\text {mask-cls }}$ 由cross-entropy和binary mask loss组成。