缓解语义层偏移:一种半监督域自适应语义分割方法

Alleviating Semantic-level Shift:
A Semi-supervised Domain Adaptation Method for Semantic Segmentation

Search for Alleviating Semantic-level Shift: A Semi-supervised Domain Adaptation Method for Semantic Segmentation | Papers With Code

目录

前言

一、问题

1、对抗学习的局限性

 2、类间混淆与域转移

二、创新点

1.提出了一种半监督学习框架——缓解语义级转移(ASS)模型

三、方法细节

1.缓解语义级转移(ASS)模型

2.语义级自适应模块SA

2.1完全连接语义自适应(FCSA)

2.2.CNN语义级特征适应模块(CSA)

四、实验

总结

---

前言

分享的文章将从发现的问题、提出的创新点、创新方法的细节层面和实验总结等方面进行描述。

一、问题

1、对抗学习的局限性

语义级特征在适应过程中是弱监督的，对抗性学习只应用于全局特征表示。但是，简单地从全局视图对齐特征分布并不能保证在局部视图中的一致性，如图1 (a)所示，这导致在目标域上的分割性能较差。

 2、类间混淆与域转移

如图1(b)所示，有产生错误的分类，也就是类间混淆；另外通过全局对齐后的域更偏向于源域，对目标域来说产生了较大的域转移。

二、创新点

1.提出了一种半监督学习框架——缓解语义级转移(ASS)模型

该算法不仅适应两个域之间的全局特征，而且利用目标域的少量标记图像监督分割任务和语义级特征适应任务。这样，模型可以缓解自适应过程中的类间混淆问题(如图1 (b)所示)，并最终缓解局部视图的域转移(如图1 (c)所示)。不仅解决了类间混淆的问题，对齐后的特征更偏向于目标域，防止了过度拟合源域！

三、方法细节

1.缓解语义级转移(ASS)模型

领域自适应结构有四个模块:特征生成模块G、分割分类模块CH、全局特征自适应模块GA和语义级自适应模块SA，如图2。

 这里的特征生成模块G，分类模块CH是语义分割必不可少的，分别进行提取特征并分类；全局特征自适应模块GA就是常用的对抗学习的方法，这里就不过多解释。

2.语义级自适应模块SA

2.1完全连接语义自适应(FCSA)

如图2灰底所示，语义级自适应的主要思想就是，同一个类与类之间进行对抗学习。Ds只有2个全连接层，并在softmax操作后输出2c通道的向量。2c的前半部分和后半部分通道分别对应于源域和目标域的类。

求每一类的语义级表示公式为：

k表示第k类，将所有属于k类的特征求平均值。 

2.2.CNN语义级特征适应模块(CSA)

语义级特征提取是困难的，必须使用标签映射来过滤像素位置并按顺序生成向量。鉴别器使用核大小为1 × 1的卷积层，相当于使用全连接鉴别器对F的每个像素进行操作，如图2黄底所示。在softmax操作后，输出有2c个通道，其中前一半和后一半分别对应于源域和目标域。

简单解释：对目标域和源域的每个像素位置的特征都对抗学习，得到2c个判别结果，前一半和后一半分别对应于源域和目标域。

四、实验

 

总结

以上就是今天要讲的内容，这是2020年的论文，当然目前的结果远超过这篇论文，但读到的都会分享，希望对你有所启发！