「Transfer Learning」Note on AdaptSegNet（适配分割网络）

Sina Weibo：小锋子Shawn
Tencent E-mail：[email protected]
http://blog.csdn.net/dgyuanshaofeng/article/details/80024059

作者：Yi-Hsuan Tsai, Wei-Chih Hung, Samuel Schulter, Kihyuk Sohn, Ming-Hsuan Yang, Manmohan Chandraker

0 摘要

AdaptSegNet[1]在标签空间上进行对抗学习。针对的问题是，基于卷积网络的方法，其泛化能力不足，尤其是当训练/源图像集和测试/目标图像集之间存在较大的域差距(domain gap)或域偏移(domain shift)的时候，也即两者分布差异较大。语义分割是一个结构化输出问题，在源域和目标域的概率/标签空间上具有空间相似性(spatial similarities)。本文还使用多水平对抗网络，在不同特征水平上，进行输出空间域适配。

1 介绍

在特征空间上进行对抗学习，并且应用在语义分割任务上，有这两种经典方法，其一为No more discrimination，其二为FCNs in the Wild。特征适配可能要遭受高维特征带来的复杂性，不得不编码不同视觉线索，比如外观、形状和上下文信息。作者没有考虑特征适配，而考虑适配像素级预测。作者注意到，在语义分割中，输出空间在空间和局部上，包含丰富信息，比如源域和目标域在外观上可能非常不同，可是在分割结果上会具有很多相似性，如空间布局和局部上下文，如图1所示。

图 1：图像空间具有较大差异，而标签空间具有较小差异

与生成对抗网络类似，本文所提出模型由两部分组成，其一为分割模型，而在生成对抗网络中是生成网络，分割模型通常是全卷积网络FCN，而生成网络通常是放大网络/反卷积网络DeconvNet；其二为判别器，鉴定输入来自源分割输出，还是目标分割输出。本文所提出方法还适配多水平特征。

3 算法概述

3.1 论文中的领域适配（domain adaptation）由分割网络和判别网络组成。其中判别网络可以有多个，比如论文使用了2两个，表示使用了2两个水平的输出空间。如图1所示。首先正向传播源图像集 $I_s$ 来优化分割器/生成器 $G$。然后预测目标图像集 I t I_t I