论文阅读:IDM: An Intermediate Domain Module for Domain Adaptive Person Re-ID(ICCV 2021)
任务:UDA ReID
论文地址:https://arxiv.org/pdf/2108.02413.pdf
代码地址:https://github.com/SikaStar/IDM
核心思路
借助中间域进行行人重识别域自适应
1.IDM模块
对输入的特征做了类似channel attention的操作,最后乘回原始特征得到源域 G s G^{s} Gs和源域 G t G^{t} Gt,随后源域与目标域特征相加就得到中间域 G i n t e r G^{inter} Ginter
2.桥接损失(bridge losses)
距离计算:计算source、target到inter的距离,这里source到inter的距离域target到inter的距离应该是成比例的即
λ
/
1
−
λ
\lambda / 1- \lambda
λ/1−λ
分类计算:论文中使用中间域特征做了分类损失计算,使用来自MLP输出的分数lam作为权重混合source与target的ID来作为
G
i
n
t
e
r
G^{inter}
Ginter的label分类损失计算,label混合计算方式:
l
a
b
e
l
=
l
a
m
∗
l
a
b
e
l
s
+
(
1
−
l
a
m
)
∗
l
a
b
e
l
t
label = lam * label_s + (1-lam)*label_t
label=lam∗labels+(1−lam)∗labelt
3.多样性损失(diversity loss)
为了防止生成的中间域特征偏向源域或目标域,论文对 a s a^s as与 a t a^t at的标准差进行差异最大化计算
论文后续工作:Bridging the Source-to-target Gap for Cross-domain Person Re-Identification with Intermediate Domains
论文地址:https://arxiv.org/abs/2203.01682v1
改进点:在原基础上提出了MGM模块
在生成中间域的过程中因为对源域与目标域的特征做了混合,在身份上模糊了,借助AdaIN将中间域的风格转换到源域与目标域的特征上,得到
G
s
→
i
n
t
e
r
G^{s \rightarrow inter}
Gs→inter和
G
t
→
i
n
t
e
r
G^{t \rightarrow inter}
Gt→inter,然后再计算跨域一致损失,即将得到的
G
s
→
i
n
t
e
r
G^{s \rightarrow inter}
Gs→inter和
G
t
→
i
n
t
e
r
G^{t \rightarrow inter}
Gt→inter特征在分类上的预测与通过
G
s
G^{s}
Gs与
G
t
G^{t}
Gt的分类预测计算KL散度