《AdaptSegNet：Learning to Adapt Structured Output Space for Semantic Segmentation》论文笔记

最新推荐文章于 2022-06-09 21:04:23 发布

m_buddy

最新推荐文章于 2022-06-09 21:04:23 发布

阅读量1.6k

点赞数

分类专栏：图像&视频分割 DA（Domain Adaptation）文章标签： AdaptSegNet

本文链接：https://blog.csdn.net/m_buddy/article/details/109063173

版权

AdaptSegNet论文探讨了在输出空间进行领域适应以解决模型在未知数据上的性能问题。通过在分割网络的softmax输出上应用GAN，适应不同数据分布，并采用多层GAN结构优化特征。实验结果显示在GTA5-CityScapes和SYNTHIA-CityScapes数据集上的良好性能。

摘要由CSDN通过智能技术生成

参考代码：AdaptSegNet

1. 概述

导读：这篇文章着力于解决模型未见过数据的适应性，一般来讲模型对于与训练集中数据类似的数据表现较好，但是对于未知场景的数据就表现较差了，这也是domain-adaptation需要解决的问题。这篇文章在分割任务下进行了研究，提出在output space（分割softmax输出）上使用GAN网络去拟合两种数据（合成数据与真实数据）分布，此外还提出使用多层GAN监督的形式优化特征的分布。

之前的一些domain adaptation的工作是在feature层次上进行的，但是在分割任务中就显得不是很适合了，这是由于分割任务中的特征编码了高维度的形状/纹理等信息，因而相当复杂，不易adapt。文章通过观察已知数据和未知数据的特点，观察到两种数据在分割结果上更加具有视觉上的一致性，因而在网络的输出（output space）上进行domain adaptation。下图表示的就是这种空间下的相似性：
在这里插入图片描述
文中将整个网络划分成两个部分：分割网络组成的生成器和判别网络。并提出了两个分布拟合策略：

1）使用分割输出（softmax概率图）的结果去拟合两个数据的分布；
2）使用多层数据（在多个特征上得到softmax output space）之后再使用GAN去拉近两个分布；

2. 方法设计

2.1 网络结构

文章的网络结构见下图所示：
在这里插入图片描述
在上图中可以看到文章的网络由两部分组成：分割网络构成的生成器 $G$ 与判别器 $D_i$ ，输入的真实图像与合成图像是 $I_t,I_s\in R^{(H*W*C)}$ ，之后得到两个图像的softmax分割概率输出 $P_t,P_s$ ，之后将这两个概率图输入到判别器网络 $D_i$ 拉近这两个数据的分布。