跨模态ReID论文总结3：GAN网络论文（长期更新）

最新推荐文章于 2024-08-25 07:02:37 发布

用GAN得有GPU

最新推荐文章于 2024-08-25 07:02:37 发布

阅读量2.8k

点赞数 3

分类专栏： ReID 多模态 GAN 文章标签：计算机视觉深度学习人工智能

本文链接：https://blog.csdn.net/qq_41967539/article/details/104703098

版权

本文总结了使用GAN网络解决跨模态ReID问题的多种方法，包括通过对抗网络混淆模态特征、生成伪图像减少模态差异等。研究表明，通过GAN的风格迁移可以有效地消除模态差异，将跨模态任务转化为单模态任务。文中列举了多个论文实例，如CMGAN、CycleGAN和Hi-CMD等，展示了各自在提高识别性能方面的贡献和挑战。

摘要由CSDN通过智能技术生成

通过GAN网络的思路也是跨模态ReID 的主流思路之一，具体分为通过对抗网路去区分不同模态的特征和通过对抗网络生成图像两种，前者仅有一篇论文，是基于feature-level的对抗，效果一般，后者既有feature-level也有pixel-level的对抗，生成具体的可视化图像，借鉴风格迁移的cycle GAN或者star GAN的方法，尽可能的消除模态差异，使得任务尽可能转变为单模态任务去处理。
1.通过GAN网络混淆不同模态特征，减小模态间差异
2.通过GAN网络生成伪图像，再与原图进行跨模态组合，减少模态差异
3.通过GAN网络将RGB图像生成伪IR图像，再与真IR图像进行组合，将跨模态任务变成单模态任务
4.5. 在生成器部分尽可能区分模态变化特征和不变特征，通过GAN网络生成伪图像，再学习生成后图片的模态特征，以减少模态变化特征的影响
1.Cross-Modality Person Re-Identification with Generative Adversarial Training(2018 IJCAI)
算法：
在这里插入图片描述
概括：
本文是第一篇通过GAN网络训练，本文提出的CMGAN并不是用来生成图片，而是通过对抗网络更好的区分不同模态的图像。首先分别提取RGB图像和IR图像各自的特征，然后通过生成器提取共有特征，尽可能使得这些共有特征可以混淆判别器的判断，通过判别器区分每个模态的特有特征、分辨不同模态的特征以促进模态分类，同时加入了triplet loss和交叉熵loss辅助训练，并在SYSM-MM01数据集上mAP和RANK-1指标较第一篇文章有了较好的改善，为以后的跨模态ReID任务开拓了另一种思路。

指标：
SYSM: RANK1:26.97、mAP:27.8
详细解读：
https://blog.csdn.net/qq_41967539/article/details/104116965
2.Learning to Reduce Dual-level Discrepancy for Infrared-Visible Person Re-identification(2019 CVPR)
算法：