Matching on Sets: Conquer Occluded Person Re-Identification Without Alignment论文分析

Matching on Sets: Conquer Occluded Person Re-Identification Without Alignment

摘要

被遮挡的人重新识别 (re-ID) 是一项具有挑战性的任务，因为在杂乱的场景中，不同的人体部分可能会变得不可见，从而难以匹配不同身份的人图像。大多数现有方法通过根据语义信息（例如人体姿势）或特征相似性对齐身体部位的空间特征来解决这一挑战，但这种方法复杂且对噪声敏感。本文介绍了集合匹配 (MoS)，这是一种将被遮挡的人重新识别定位为集合匹配任务而不需要空间对齐的新方法。MoS 通过“全局向量”表示的模式集对人物图像进行编码，每个元素捕获一个特定的视觉模式，并引入 Jaccard 距离作为度量来计算模式集之间的距离并测量图像相似性。为了在连续实数上启用 Jaccard 距离，我们分别采用最小化和最大化来近似交集和并集的操作。此外，我们设计了一个 Jaccard 三元组损失，它增强了模式辨别能力，并允许将集合匹配嵌入到深度神经网络中进行端到端训练。在推理阶段，我们引入了一种冲突惩罚机制，在图像对的模式联合中检测互斥模式并相应地降低它们的相似性。对三个广泛使用的数据集（Market1501、DukeMTMC 和 Occluded-DukeMTMC）进行的大量实验表明，MoS 实现了卓越的 re-ID 性能。此外，它可以容忍遮挡，并且在 Occluded-DukeMTMC 的大范围内优于最先进的技术。

简介

reid是什么

遮挡的研究也很重要


遮挡问题的两个核心：
1.遮挡挡住了信息
2.遮挡物造成了噪声

之前已有算法：
一种：对齐part计算相似度
人员遮挡：Mask-guided Contrastive Attention Model for Person Re-Identification
Foreground-Aware Pyramid Reconstruction for Alignment-Free Occluded Person Re-Identification
语义分析：
行人姿态：
以上三种发现可视区域进行匹配

缺点：计算复杂；严重遮挡时无法产生可靠的visual cues

另一种，人物图像之间局部特征相似度，缺点：分不清人和遮挡物

引出：MoS：reid被当成集合匹配问题，
1.Jaccard 相似性系数
2.引入了最小化和最大化来近似 Jaccard 相似度中的交集和并集算子
3.Jaccard 三元组损失
4.冲突惩罚机制（牛的不行）

相关工作

reid

特征学习啦，度量学习啦，遇到遮挡就不行啦

occluded-reid

姿态：PGFA:Pose-Guided Feature Alignment for Occluded Person ReIdentification.
PVPM
HOReID
缺点：耗时，严重遮挡时撤不了，（确实，只有一个头怎么测姿态）

Another line of research adopt a part-to-part matching strategy, which builds up part alignment relations according to the local feature similarity across person images.
…
VPM
ISP
缺点很有可能人员遮挡物不分。

Method

（问题：pattern set 是怎么产生的）

pattern sets matching

pattren set 是 g = 非线性函数（特征）
（这样的吗，那channel是多少，打开新世界大门了都）

Jaccard Similarity for Re-identification

Jaccard三元组损失

Pattern Conflict Penalty

一旦有一项不相同，降低匹配度（这个可以学一学，很多场景都能用）

Experiments

后面草草
能超过HOReID和ISP这么多，结构还如此简单，可以是遮挡reid中的BoT了

全局数据集效果也不错

冲突惩罚rank-1能涨两个点
end，太牛了，我是想不到非线性函数（feature）是个这么个玩意儿
想不到还能出新的baseline，能用最简单的结构达到最强的效果，牛。
期待开源…