论文笔记：Incremental Adversarial Domain Adaptation for Continually Changing Environments

论文地址：http://ieeexplore.ieee.org/document/8460982

源码地址：尚未开源

---

1 Mean Idea

本文提出一种基于对抗训练的life-long、增量式域自适应方法，无监督地对齐一系列中间域（a series of intermediate domains），这些域的数据分布逐渐偏离带标签的源域。该方法主要解决从白天到黑夜的域自适应问题，不同时间，目标的外表会发生较大的变化。

2 Method

IADA把接连到来的数据视为增量变化域的数据流，编码模块以及判别模块的参数逐渐地更新，使得它们可以对齐每一个增量式迁移的域。除了对抗式的min-max问题，对抗域自适应总体倾向于密集地搜索超参数，受域不变性目的和监督学习目的之间潜在矛盾。直觉上看，通过将域对齐过程切分为更小的域漂移，作者简化了总体的任务，最小化相关信息的损失。

训练过程分为两部分：在源域上的离线监督优化，以及无监督的域自适应过程，后者可以在平台部署的过程中在线地运行。如下图所示：

监督训练过程使用预测出来的标签和源域编码器，基于监督任务（分类或者分割）来优化监督模块。上述模块在域自适应的训练过程中参数保持不变，使得模型在源域上的表现不受影响。只有目标域编码器和判别器基于它们各自的目标函数进行训练，令和分别代表源域和目标域图像的编码结果，故有：

目标域编码模块的权重由源域从监督任务训练到的参数进行初始化。这些早期的参数接下来会自适应地对齐当前的目标域数据，通过用上述损失函数优化目标域编码模块以及判别模块。这个过程需要使用从曾经遇到过的目标域中优化好的参数作为适应当前域的起始参数。

A. Source Distribution Modelling

IDAD有助于应用在持续部署的平台上，而ADA方法需要大量的源域数据，会局限其应用。这些限制大多和计算资源以及数据存储有关。为了解决这个问题，作者基于GAN拓展了该方法，模仿源域的特征分布，使其不受数据量大小的影响。作者优化一个映射n维正态分布噪声的生成模块G，来近似离线训练步骤中源域的特征分布。一开始GAN模块旨在模仿自然图像，而作者的方法模仿图像的特征编码。令为生成模块，生成的特征为，生成模块和判别模块的目标函数为：

在域自适应过程中，目标域编码模块优化以对齐GAN的特征分布，后者的参数保留了对于源域数据的模拟。除了优化判别模块以分清两个域以外，它学习去分辨合成的生成源域特征，以及由目标域图像编码而得的真实目标域特征。目标域编码器和判别器的优化目标函数为：