跨模态ReID论文总结2：CNN提取特征论文（长期更新）

最新推荐文章于 2023-11-29 09:24:52 发布

用GAN得有GPU

最新推荐文章于 2023-11-29 09:24:52 发布

阅读量4.6k

点赞数 7

分类专栏： ReID 多模态文章标签：计算机视觉人工智能深度学习算法

本文链接：https://blog.csdn.net/qq_41967539/article/details/104702998

版权

本文总结了跨模态人体重识别（ReID）领域的多个研究，主要关注通过两流网络提取RGB和IR图像特征，结合Sphere Softmax、Contrastive Loss等损失函数进行特征学习。各论文通过不同方法强化特征表示，如Hierarchical Discriminative Learning、HCML、pentaplet loss等，旨在缩小同类别的距离，扩大不同类别的距离，提升识别准确性。

摘要由CSDN通过智能技术生成

本部分占所有跨模态ReID的绝大部分论文的思路，基本思路是通过two-stream网络分别提取两个模态图像的特征，CNN前几层提取specifc feature ，后几层通过权重共享提取common feature ，在通过度量学习或者进一步的特征提取分别对specific feature和common feature进行进一步处理，最后通过ranking loss缩小同类别的距离，扩大不同类别的距离，通过identity loss进行分类任务。
1.HSME Hypersphere Manifold Embedding for Visible Thermal Person Re-Identification(2019 AAAI)
算法：
在这里插入图片描述
概括：
本文最大的特点是应用了经典softmax loss的一个变种Sphere Softmax loss，该softmax是从人脸领域中的coco loss迁移过来的，即首先将二维坐标系通过坐标变换转变为球面坐标，并且使得在球面上做分类任务时，仅与向量间的角度有关，与向量的模无关。整体框架中首先将RGB图像和IR图像通过two-stream通道输入给backbone分别提取特征，然后通过Sphere Softmax loss和triplet loss进行学习。

指标：
SYSM: RANK1:20.6、mAP:23.1
详细解读：
https://blog.csdn.net/qq_41967539/article/details/104185592
2.Hierarchical Discriminative Learning for Visible Thermal Person Re-Identification(2018 AAAI)
算法：
在这里插入图片描述
概括：
本文通过two-stream结构分别提取RGB图像和IR图像的特征，在训练时，选用Contrastive Loss弥补跨模态之间的差距，同时增强特征学习的模态不变性，用softmax loss和Cross entropy loss作为Identity loss 加强ID的识别能力，将训练好的feature map再作为输入进行度量学习（HCML），进一步将两个不同空间的模态的数据转化到同一个空间，一方面在每种模态内分别约束同一人的特征向量，另一方面区分不同人的两种不同模态转换后与模态特异性的度量，从而进一步加强对同一ID模态内和模态间特征的学习。

指标：
未用SYSM，RegDB：rank1：24.44、mAP：20.8
详细解读：
https://blog.csdn.net/qq_41967539/article/details/104210236
3.Enhancing the Discriminative Feature Learning for Visible-Thermal Cross-Modality Person(2019 ArXiv)
算法：
在这里插入图片描述
概括：
本文采用了two-stream结构分别提取RGB图像和IR图像的特征，在提取特征的过程中，采用跳链接将CNN模型的中间层特征融合进来，以增强person特征的无描述性和鲁棒性，并通过Triplet loss和softmax loss进行训练。
Fuse操作一般有级联、加、乘、相关操作等，其中前两种最为常见，级联实质是组合互补特征，不算融合，加是抽取互补特征，是一种直接融合的方式，两者比较的话有3点：1相加是级联的特例，2级联参数量多，3两个效果没有准确的优劣，但结果相差不大。

指标：
SYSM：rank1：36.94、mAP：40.77
详细解读：
https://blog.csdn.net/qq_41967539/article/details/104235761
4.HPILN a feature learning framework for cross-modality person re-identification(2019 IET)
算法：
在这里插入图片描述
概括：
本文首先是通过特征提取器提取相同数量的RGB图像和IR图像的特征，然后输入给特征嵌入模块，将这2PK个图像进行分组，得到the hardest pentaplet pair集合，本文最大的亮点就是将原始的triplet loss改变为pentaplet loss，即原始的triplet loss是尽可能将anchor与positive距离小于anchor与negative距离，但是本文提出的pentaplet loss除此之外还加入了的cross module问题，也就是说既要使得将anchor与positive距离小于anchor与negative距离，同样要使得将anchor与cross-module positive距离小于anchor与cross-module negative距离，除了将pentaplet loss作为ranking loss进行特征训练外，也选用了softmax作为identity loss辅助训练。
同时本文提到的难样本挖掘方法，即相似样本的最大距离<不相似的最小距