ICCV2019-行人重识别-Instance-Guided Context Rendering for Cross-Domain Person Re-Identification

动机:

对于跨数据集的re-id问题来说,最大的障碍就是不同数据集分布不同的这个gap,而解决这个问题最直接的办法就是将Source Domain的数据分布强行拉成Target Domain的分布,而这个最容易想到的办法就是GAN。这篇文章的通过GAN,改变Source Domain数据的环境背景,去接近Target Domain。

创新:

这里可能有人会想到,为什么不直接提取Source Domain的前景和Target Domain的背景再去融合。当然,让Source Domain数据看起来像Target Domain绝对没有那么简单,这牵扯到光照,摄像机角度等很多因素,这里可以理解为,把Source Domain中的人“拿”出来,放到Target Domain的环境里。
所以可以画个图:
在这里插入图片描述

  • 这就是一个基本的框架了,而camera style adaptation for person re-identification就是采用的这种思路,但是有个问题,看过那篇文章的人都知道,通过Cyclegan,生成的跨域样本,结果只能骗过计算机。因为生成的样本只是颜色、亮度发生了改变,很难看到样本的cam信息发生了变化。所以,需要人为引导计算机去对目标真正的迁移,我认为也是题目中Instance-Guided的意义所在。
  • 那么重点来了,如何引导呢?作者在文章里介绍了之前GAN的几篇类似文章,即通过attention的思想,对目标区域加强,而弱化非目标区域对目标区域的影响,之后得到不同区域的mask再合并得到最终的样本。借鉴这样的思路,我们可以看看流程图。
    在这里插入图片描述
  • 通过目标图像 X T X_{T} XT结合目标图像mask M T M_{T} MT,源图像 X S X_{S} XS得到RGB的迁移图像 X R X_{R} XR和权重图 X C X_{C} XC,之后通过 X R X_{R} XR X C X_{C} XC X S X_{S} XS的组合得到最后的生成图像 X G X_{G} XG
  • 这里作者没有介绍 X R X_{R} XR X C X_{C} XC,我查阅了作者提及的GANimation文章后对这个大致了解。 X R X_{R} XR为RGB掩模, X C X_{C} XC为注意力掩模,而这也是这种GAN的标准构造,有兴趣可以深入这个网络看看。
  • 关于GAN的损失函数作者除了常见的对抗性损失,又加入了关于背景,视角以及身份的验证。
    在这里插入图片描述
  • 关于整个算法流程作者也给出了解释:主要分为 1 训练判别器 2训练图像生成器 3生成新样本在这里插入图片描述

实验:

在这里插入图片描述
实验效果还是非常好的。
在这里插入图片描述
对比了各个损失函数的贡献

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值