实验代做 行人识别_跨模态行人重识别异质中心损失（Heterocenter loss）

点击上方“CVer”，选择加"星标"或“置顶”

重磅干货，第一时间送达

作者：ZYX

https://zhuanlan.zhihu.com/p/101174443

本文已由原作者授权，不得擅自二次转载

论文：https://arxiv.org/abs/1910.09830

代码地址：https://github.com/98zyx/Hetero-center-loss-for-cross-modality-person-re-id

1. 方法

跨模态行人重识别是指在RGB图像和近红外(infrared，IR)行人图像之间的检索。因为通过深度学习检索图像一般是用模型提取特征然后比较特征之间的相似度，将特征最相似的图像作为检索结果。因此，针对跨模态检索这一问题，理所应当地，我们希望模型可以提取不管是在RGB图像还是IR图像中都不会变的且具有辨识度的特征，以提高不同模态相同行人的图像的特征相似度，即提高类内跨模态特征相似度，但是传统分类损失一般只能提高类间差异，很难达到这一目的。然而直接约束模态分布之间的距离又比较困难，且代价高昂，我们考虑到中心在一定程度上反映特征分布的信息，因此我们选择拉近类内两个模态中心的距离，从而提高类内跨模态的特征相似度。具体实现细节可见论文和代码。

2. 效果图展示

Fig 1. 使用传统交叉熵损失训练出来的特征分布，我们可以看到相同类的两个模态分布的中心距离比较大，两个模态分布之间的距离也比较远

Fig 2. 使用异质中心损失训练出来的特征分布，我们可以看到相同类的两个模态分布的中心基本上重叠了，两个模态的样本点也混合在了一起

3. 框架

跨模态行人重识别作为行人重识别的子问题，局部特征对其应该也是有效的。因此，受到PCB等工作的启发，我们提出了TSLFN网络框架，我们提出该框架的主要动机还是为以后的跨模态行人重识别工作提供一个强有力的baseline，现在跨模态行人重识别的工作大部分基于精度较低(20~30%)的baseline，我们希望这个框架可以帮助大家提出更有效更扎实的方法。

Fig 3. TSLFN框架

4. 实验

我们在Reg-DB和SYSU-MM01数据集上都做了实验(训练模型都公开在了Github上，评估协议照抄了 @叶茫博士的项目)，不过因为时间原因，在论文中，我们只公开了SYSU-MM01数据集的评估数据。

Reg-DB数据集也取得了Sota的性能(R1:~83%，mAP:~72%)，还有更多关于参数以及方法的讨论与实验，比如与Center loss的比较，权重的取值，采样策略的参数等等，我们都放在了论文中。

5. 提示

因为这是我第一次公开源码，其中源码有很多为了省时间不规范的地方，README写的可能也比较让人难读懂，如果各位觉得哪里写的不好，希望各位可以指出，我会尽量尽快的改正，如果各位有任何的问题，可以通过知乎(此账号)，邮件(zhuyuanxin98@outlook.com)，或Github(@98zyx)随时联系我，我也会尽自己的所能回答。

还有就是非常感谢 @叶茫博士对我的鼎力帮助，他的项目与无私解疑真的帮助了我许多，非常感谢！

最后，希望给自己打一下广告，我2019年广州大学电子信息工程本科毕业，处于gap year中，该工作是我大四完成的，正在寻求一份硕士项目或者实习打杂项目(薪资不计，地点不计，主要是还有半年想在工业界历练一下，预计写完第二篇论文就有时间了)，托福95，绩点3.78。

如果有岗位可以提供，欢迎知乎私信我或者邮箱

知乎：https://www.zhihu.com/people/zyx-42

邮箱：zhuyuanxin98@outlook.com

如果您觉得这份工作对您有帮助，可以引用一下如下论文：

[1] Zhu Y, Yang Z, Wang L, et al. Hetero-Center Loss for Cross-Modality Person Re-Identification[J]. Neurocomputing, 2019.

[2] Ye M, Lan X, Wang Z, et al. Bi-directional Center-Constrained Top-Ranking for Visible Thermal Person Re-Identification[J]. IEEE Transactions on Information Forensics and Security, 2019.

重磅！CVer-Re-ID交流群已成立

扫码可添加CVer助手，可申请加入CVer大群和细分方向群，细分方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索等群。

一定要备注：研究方向+地点+学校/公司+昵称(如Re-ID+上海+上交+卡卡)，根据格式备注，可更快被通过且邀请进群

▲长按加群

▲长按关注我们

麻烦给我一个在看！