[论文阅读]IDM: An Intermediate Domain Module for Domain Adaptive Person Re-ID (ICCV2021)

IDM: An Intermediate Domain Module for Domain Adaptive Person Re-ID (ICCV2021)

一种基于中间域的域自适应行人重识别
领域：UDA
代码

---

---

Motivation

对于域自适应的行人重识别来说，最关键的是域知识的迁移，而作者为了更好地适应UDA中的两个领域，在二者之间插入一个中间域

如图所示，假设源域到目标域的知识迁移存在一条适当的路径，通过在这条路径上增加一个中间域可以更好地把源域的知识迁移到目标域上。IDM模块可以插入到网络的任意一个隐藏层中。

---

Method

Overview:

如图所示。IDM模块嵌入到resnet-50的stage-1和stage-2之间，输入为源域图片和目标域图片经过stage-1的特征图Gs,Gt，输出为中间域的混合特征图Ginter以及两个领域因子as,at。把三个特征图作为stage-2的输入继续在网络中进行前向传播，最后通过GAP得到特征f,再通过classifier(BN+FC)得到预测结果ϕ。源域通过已知标签、目标域通过伪标签对预测值进行交叉熵损失约束网络。中间域则通过两个性质约束网络：1、中间域与两个域的距离成比例2、中间域应该尽可能地多样化

IDM模块：

如图所示：特征图Gs和Gt输入后经过平均池化层和最大池化层，得到的输出进行拼接再分别经过一个全连接层，得到的输出简单的相加再传入MLP层，MLP层的输出是经过softmax之后的领域因子a，a = {as,at}。得到的as、at分别和Gs、Gt进行乘积相加得到Ginter。
Ginter = as · Gs + at · Gt

建立中间域的要求：

在上述公式中，as和at的取值不同，建立的中间域也不同，但是由于域的知识迁移符合图c的流形结果，当d(Ps, Pinter) + d(Pt, Pinter) = d(Ps, Pt)时(P代表分布，d代表距离)，域的知识迁移会更加地有效，反之，当d(Ps, Pinter) + d(Pt, Pinter) > d(Ps, Pt)时，中间域会影响两个域之间的知识迁移。
中间域应该满足的性质：
1、 中间域与两个域的距离成比例
设：d(Ps, Pinter) =λ* d(Ps, Pt)，其中λ∈[0,1]，则有公式：

再令λ = at，可得：

由公式可知，当as趋向于1时，Ginter 趋向于Gs，所以d(Pt, Pinter)应该远大于d(Ps, Pinter)。根据以上分析可得损失函数约束：

理解：当as更大的时候，对d(Ps, Pinter)的惩罚更大，反之对d(Pt, Pinter)惩罚更大
具体损失：

2、中间域应该尽可能地多样化

σ(·)代表求标准差，利用损失函数使得中间域尽可能多样化，更好地桥接源域和目标域
question：为什么标准差越小，中间域更多样性?

---

Experiments：

损失的消融实验：

图中oracle的方法带目标域的标签。
嵌入的隐藏层的消融实验：

与过去的方法做对比：

---