【论文笔记】Segmenting Transparent Object in the Wild with Transformer

声明

不定期更新自己精读的论文，通俗易懂，初级小白也可以理解

涉及范围：深度学习方向，包括 CV、NLP、Data fusion、Digital Twin

论文标题：

Segmenting Transparent Object in the Wild with Transformer

论文链接：https://arxiv.org/abs/2101.08461v3

论文代码：https://github.com/xieenze/Trans2Seg

发表时间：2021年2月

创新点

1、提出了一个新的细粒度透明对象分割数据集，称为 Trans10K-v2

2、提出了一种新的基于 Transformer 的分割通道，称为 Trans2Seg

Abstract

这项工作提出了一个新的细粒度透明对象分割数据集，称为 Trans10K-v2，扩展了第一个大规模透明对象分割数据集 Trans10K-v1。 与只有两个有限类别的 Trans10K-v1 不同，我们的新数据集有几个吸引人的好处。

(1) 具有11个细粒度的透明物体类别，常见于人类生活环境中，更适合现实应用。  

(2) Trans10K-v2 比之前的版本给当前的高级分割方法带来了更多的挑战。

此外，提出了一种新的基于变压器的分割管道，称为 Trans2Seg。

首先，Trans2Seg 的 Transformer 编码器提供了全局感受野，与 CNN 的局部感受野相比，这与纯 CNN 架构相比具有出色的优势。 其次，通过将语义分割公式化为字典查找问题，我们设计了一组可学习的原型作为 Trans2Seg 的 Transformer 解码器的查询，其中每个原型学习整个数据集中一个类别的统计信息。 我们对 20 多种最近的语义分割方法进行了基准测试，证明 Trans2Seg 明显优于所有基于 CNN 的方法，显示了所提出的算法解决透明对象分割的潜在能力。

Method

CNN-Transformer 架构的整个流程

首先，输入图像被馈送到 CNN 以提取特征 F；

其次，对于 Transformer 编码器，特征和位置嵌入被展平并馈送到 Transformer 以进行自我注意，并从 Transformer 编码器输出特征 Fe；

第三，对于transformer decoder，作者专门定义了一组可学习的类原型嵌入（Ec​​ls）作为 query，Fe 作为 key，用 Ecls 和 Fe 计算 attention map（这里的原理大家参考self-attention）每个类原型嵌入对应于最终预测的一个类别；

并且作者还添加了一个小的 conv head 来融合来自 CNN 主干的注意力图和 Res2Net 特征（架构中并没有标记出 Res2Net，后面我会介绍）；

Transformer decoder 和 small conv head 的细节参考下一小节；

最后，通过在注意力图上进行像素级 argmax 得到预测结果。

Transformer decoder and small-head

Transformer decoder

可学习的类别原型 Ecls 作为查询，来自 Transformer encoder 的特征作为键和值；

输入到由几个解码器层组成的 Transformer decoder 中。

small-head

来自最后一个解码器层的注意力图和来自 CNN 主干的 Res2Net 特征被 concat 起来；

并馈送到一个小的 conv head 以获得最终的预测结果；

其架构，很简单明了，看图可知。

Experiments

实验目标：评估了最先进的语义分割方法

实验结果：作者提出的Trans2Seg 在像素精度和平均 IoU 以及大多数类别 IoU 方面超过了所有其他方法