[论文阅读](IDM+)Bridging the Source-to-target Gap for Cross-domain Person Re-Id with IDM(ICCV021)

最新推荐文章于 2023-05-01 15:41:12 发布

Charles_zzz

最新推荐文章于 2023-05-01 15:41:12 发布

阅读量699

点赞数

分类专栏： Person-reid 文章标签：深度学习人工智能

本文链接：https://blog.csdn.net/Charles_zzz/article/details/125014558

版权

4 篇文章 0 订阅

订阅专栏

(IDM+)Bridging the Source-to-target Gap for Cross-domain Person Re-Identification with Intermediate Domains(ICCV2021)

通过中间域弥合源域和目标域差距的行人重识别
领域：UDA DG

在IDM中，源域和目标域的特征被混淆时，它们的ID会被混合成新的身份。这使得中间域更多地关注混合身份的变化，而不是与ID无关的额多样化的跨域风格。所以论文提出一个镜像生成模块(MGM)，讲原始的ID映射到已经生成的中间域中。MGM使得IDM能够在对齐域时专注于有跨域变化。
在这里插入图片描述

如图所示，Mirrors distribution代表的是中间域特征图的风格转移到源域(或目标域)特征图的分布。增加Mirrors distribution的原因是让网络更加注重分布，而不是中间域的混淆ID的可区分性。

在这里插入图片描述

如图所示，整体流程图与IDM的方法相差无几，只在resnet-50的stage-3与stage-4之间插入了MGM模块，而其中MGM模块如图c所示，MGM模块输入的是stage-3输出的特征图Gs、Gt、Ginter，通过AdaIN的方式输出了两个镜像分布（Gs→inter以及Gt→inter）

在说明之前需要提到IDM中间域损失的bridge损失：
在这里插入图片描述

单独只看一张图片，
在这里插入图片描述

这种情况下，(a^s $\ast$ y^s+a^t $\ast$ y^t )就是中间域的混淆ID，相当于混淆ID与网络对Ginter特征图的预测值的交叉熵损失。交叉熵损失的结果是使得网络更加偏向于学习混淆ID的可区分性，而不是更加专注与ID无关的跨域风格。

MGM的做法是，利用风格转移的方式生成源域（目标域）到中间域的风格迁移特征图
在这里插入图片描述

AdaIN来自于论文：
解释引用知乎的一个帖子
Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization(ICCV2017)
一种类似于标准化方式的风格迁移，论文中验证了特征图的µ(G)和σ(G)代表图片的风格，而AdaIN的效果可以简单的理解为
在这里插入图片描述

红色部分：去风格化
蓝色部分：嵌入另一种风格
最后经过MGM生成的两个镜像分布为Gs→inter Gt→inter
最后通过KL散度来拉近源域(目标域)与镜像分布的距离：
在这里插入图片描述

MGM模块的消融实验：
在这里插入图片描述

其中baseline2加入了XBM结构，从图中可以看出MGM对两种方法都有不错的提升效果，尤其在加入XBM结构后提升更佳。
IDM++与之前的论文效果对比：
在这里插入图片描述

IDM++的关键研究
Mixup的比率：传统的mixup或者manifold mixup都是从Beta分布中生成随机数当作混合比率进行两个域的混合。
在这里插入图片描述

MGM产生镜像的方式
Mirrors-I就是原论文中产生镜像的方式，
Mirrors-ST 生成的特征图为Gt->s和Gs->t
在这里插入图片描述

MGM嵌入哪个特征层
在这里插入图片描述

关注