IDM: An Intermediate Domain Module for Domain Adaptive Person Re-ID论文解读

ICCV 2021 oral
论文地址：https://arxiv.org/pdf/2108.02413.pdf
代码地址：https://github.com/SikaStar/IDM

动机

在两个域之间建立一个中间域（Intermediate Domain Module (IDM)），通过中间域来挖掘目标域潜在的表征特征，源域knowledge可以更好的迁移到目标域knowledge（和GAN那种生成图像级别的不同，它这里就是网络中的信息转移！！novel）。而这个中间域则是通过两个域的相似性和差异性建立的。

思路

提出两个loss来构建中间域：bridge loss用于更好的构建中间域，diversity loss用于防止中间域偏向于某一域。

个人理解：这种建立中间域和建立代理节点的思路是否相似？都是想利用两个域的共同特征去做一个域的迁移

方法

1、IDM模块可以即插即用，可以用在网络的任何stage后面，这样能及时产生中间域的表征。

2、用两个域的域特征融合作为中间域特征，然后三部分特征输入到下一个stage

3、中间域特征的选择问题：一是保持两个域的距离（bridge loss），二是不能偏向任何一个域（diversity loss）

输入：一个mini-batch包含n张源域图和n张目标与图

Intermediate Domain Module

1、对输入的图像采取随机配对取n对的策略作为输入

2、对stage1后的feature map分别采用 平均池化 和 全局池化 （这个算是一个trick，可尝试），获得的都是 1x1xc的feature map，然后拼接。分别丢进FC层获得 [bs, FC输出] 的tensor，然后逐元素相加。（这一步相当于进行融合了两个域的特征）融合的特征丢进MLP，获得一个domain factor ：

问题：a怎么分为两部分？MLP的输入是两部分逐元素相加，那获得的as和at都是比较混合的factor

MLP的输出是2维，再经过一个softmax，得到a。

个人理解：构建中间域特征的两个特点——1、两种池化方式然后拼接能不丢失域内特征。2、逐元素相加输入MLP获得一个参数a用作该域对构成中间域的贡献参数。

最终的中间域特征：

Modelling Appropriate Intermediate Domains

目的：中间域特征的组合很多，但不是全部都能满足很好的结合两个域的特征。

核心：最短路径，作者认为合适的中间域应该在两个域的最短路径上

如果两个域分别和中间域的距离之和大于两个域之间距离，则不满足最短路径。

1、as+at=1，这两个参数可以当作距离衡量参数

2、构建bridge loss


个人理解：就是用重构的中间域特征做分类和三元损失，并乘上一个权重参数a

3、构建diversity loss

目的：防止产生的参数偏向于某一个域

方法：对参数ait和ais分别求它们的标准差

实验

目前最高

backbone是ibn-resnet50