CVPR 2021 论文大盘点-人员重识别篇

关注公众号，发现CV技术之美

本篇文章总结人员重识别相关论文，包含无监督人员重识别，基于视频、部分身体的行人重识别，可见光红外人员重识别，域泛化人员重识别，换装人员重识别，行人检索等等。共计 26篇。

大家可以在：

https://openaccess.thecvf.com/CVPR2021?day=all

按照题目下载这些论文。

如果想要下载所有CVPR 2021论文，请点击这里：

CVPR 2021 论文开放下载了！

“终生”人员重识别

Lifelong Person Re-Identification via Adaptive Knowledge Accumulation

本次的研究工作 focus 一个尚未解决的、具有挑战性的、但却实用的领域增量场景，lifelong person reidentification（终生人员重识别），即需要模型通过利用以前的知识来提高在已见和未见领域的概括能力。作者提出 AKA 框架，用来保留从以前的领域学到的知识，同时适应性地传播以前学到的知识，以提高在新领域的学习。

广泛的实验表明，所提出方法在减轻对已见领域的遗忘和对未见领域的概括方面都优于其他竞争对手。

作者 | Nan Pu, Wei Chen, Yu Liu, Erwin M. Bakker, Michael S. Lew

单位 | 莱顿大学；大连理工大学

论文 | https://arxiv.org/abs/2103.12462

代码 | https://github.com/TPCD/LifelongReID

基于视频的人员重识别

Spatial-Temporal Correlation and Topology Learning for Person Re-Identification in Videos

文中提出 Spatial-Temporal Correlation 和 Topology Learning （CTL）框架，通过对跨尺度的空间-时间相关性进行建模来追求辨别和鲁棒的表示。

具体来说，CTL 利用 CNN 主干和关键点估计器，从人体中提取语义上的局部特征，作为图的节点，在多个颗粒度上进行提取。它通过考虑全局上下文信息和人体的物理连接，探索一种背景强化的拓扑结构来构建多尺度图。此外，还设计一个三维图卷积和一个跨尺度图卷积，有利于直接跨时空和跨尺度的信息传播，以捕捉层次化的时空依赖和结构信息。通过联合进行这两种卷积，CTL有效地挖掘出与外观信息互补的综合线索，以提高表征能力。

在两个视频基准上进行的广泛实验证明了所提方法的有效性和最先进的性能。

作者 | Jiawei Liu, Zheng-Jun Zha, Wei Wu, Kecheng Zheng, Qibin Sun

单位 | 中国科学技术大学

论文 | https://arxiv.org/abs/2104.08241

BiCnet-TKS: Learning Efficient Spatial-Temporal Representation for Video Person Re-Identification

文中提出一种用于视频人员重识别（reID）的高效空间-时间表示法。首先，提出 Bilateral Complementary Network（BiCnet）来进行空间互补建模。具体来说，BiCnet 包含两个分支：Detail Branch 以原始分辨率处理帧，保留详细的视觉线索，Context Branch 采用下采样策略，捕捉长距离的上下文。

在每个分支上，BiCnet 附加多个平行和多样化的注意力模块，以发现连续帧的不同身体部位，从而获得目标身份的完整特征。此外，还设计Temporal Kernel Selection （TKS）模块，通过自适应模式捕捉短期和长期的时间关系。TKS 可以被插入 BiCnet 的任何深度，以构建 BiCnetTKS 的空间-时间模型。

在多个基准上的实验结果表明，BiCnet-TKS 在计算量减少约 50% 的情况下依然优于最先进的技术。

作者 | Ruibing Hou, Hong Chang, Bingpeng Ma, Rui Huang, Shiguang Shan

单位 | 中科院；国科大；香港中文大学；

论文 | https://arxiv.org/abs/2104.14783

代码 | https://github.com/blue-blue272/BiCnet-TKS

Watching You: Global-guided Reciprocal Learning for Video-based Person Re-identification

基于视频的人员重识别目的是从不重叠的摄像机下的视频序列中自动检索同一个人。而实现这一目标的关键是要充分利用视频中丰富的空间和时间线索。对于该任务的现有方法通常专注于最显眼的图像区域，也因此可能会因为图像序列中的人物种类而轻易错过细微的线索。

针对上述问题，作者提出一个新颖的全局引导的互惠学习（GRL）框架，用于基于视频的人员重新识别。具体来说，首先设计 Global-guided Correlation Estimation（GCE），生成局部特征和全局特征的相关图，有助于定位识别同一个人的高、低相关区域。然后，在全局表征的指导下，辨别性特征被分解为高相关特征和低相关特征。此外，设计一种新的时间互惠学习（TRL）机制，以依次增强高相关的语义信息和积累低相关的次关键线索。

在三个公共基准上进行了广泛的实验，结果表明，所提出方法可以取得比其他最先进方法更好的性能。

作者 | Xuehu Liu, Pingping Zhang, Chenyang Yu, Huchuan Lu, Xiaoyun Yang

单位 | 大连理工大学；鹏程实验室；Remark Holdings

论文 | https://arxiv.org/abs/2103.04337

代码 | https://github.com/flysnowtiger/GRL

域泛化人员重识别

Generalizable Person Re-identification with Relevance-aware Mixture of Experts

文中提出 Relevanceaware Mixture of Experts（RaMoE），用来解决域泛化人员重识别（DG ReID）的问题。它使用一个有效的基于 voting 的混合机制，动态地利用源域的不同特征来提高模型的泛化能力。

具体来说，提出 decorrelation loss，以使源域网络（专家）保持个别域特征的多样性和可辨识性。此外，还设计一个投票网络，以适应性地将所有专家的特征整合到具有域相关性的、更泛化的聚合特征中。考虑到目标域在训练过程中的不可见性，提出一种新的学习到学习的算法，结合 relation alignment loss 来更新投票网络。

并通过广泛的实验表明，所提出的 RaMoE 优于最先进的方法。

作者 | Yongxing Dai, Xiaotong Li, Jun Liu, Zekun Tong, Ling-Yu Duan

单位 | 北大；新加坡科技设计大学；新加坡国立大学；鹏城实验室

论文 | https://arxiv.org/abs/2105.09156

Person30K: A Dual-Meta Generalization Network for Person Re-Identification

文中作者创建一个大规模的 Person30K 数据集，呈现出多样化的数据采集条件，并有望促进 ReID 模型在真实世界场景中的研究和部署。

此外，作者还提出一种域泛化的 ReID 方法，将元学习方案整合到模型训练过程和度量空间学习中，以提高模型的泛化和识别能力。并通过广泛的实验证明了该方法的有效性。

作者 | Yan Bai、Jile Jiao、Wang Ce、Jun Liu、Yihang Lou、Xuetao Feng、Ling-Yu Duan

单位 | 北大；阿里新加坡科技设计大学；鹏城实验室

论文 | 

https://openaccess.thecvf.com/content/CVPR2021/papers/Bai_Person30K_A_Dual-Meta_Generalization_Network_for_Person_Re-Identification_CVPR_2021_paper.pdf

Meta Batch-Instance Normalization for Generalizable Person Re-Identification

文中所提出的 Meta Batch-Instance Normalization（MetaBIN）是可泛化Re-ID 框架。其主要思想是通过在元学习管道中事先模拟不成功的泛化场景来泛化规范化层。大量实验证明改模型在大规模域泛化 Re-ID 基准和跨域 Re-ID 问题上优于最先进的方法。

作者 | Seokeon Choi, Taekyung Kim, Minki Jeong, Hyoungseob Park, Changick Kim

单位 | 韩国科学技术院

论文 | https://arxiv.org/abs/2011.14670

代码 | https://github.com/bismex/MetaBIN

Person Search(行人检索)

Prototype-Guided Saliency Feature Learning for Person Search

现有的行人检索方法将行人检测和重识别（re-ID）模块整合到一个统一的系统中。虽取得了不错的效果，但在行人检索中普遍存在的错位问题而限制了重识别的鉴别性特征表示。

为了解决上述问题，作者在本次工作中引入一个新的框架，通过利用 OIM 损失中的原型来学习判别性的表示。与传统的使用原型作为人的身份表示方法不同，利用它作为指导，让注意力网络在不同的姿势下一致地突出多个实例。此外，提出一种新的原型更新方案，该方案具有自适应的动力，以提高不同实例的判别能力。

广泛的消融实验表明，所提出方法可以显著提高特征的判别能力，在包括CUHK-SYSU 和 PRW 的两个行人检索基准上的表现优于 SOTA。

作者 | Hanjae Kim、Sunghun Joung、Ig-Jae Kim、Kwanghoon Sohn

单位 | 韩国延世大学；韩国科学技术院

论文 | 

https://openaccess.thecvf.com/content/CVPR2021/papers/Kim_Prototype-Guided_Saliency_Feature_Learning_for_Person_Search_CVPR_2021_paper.pdf

Anchor-Free Person Search

行人检索的目的是同时从现实的、未经剪裁的图像中定位和识别一个查询的人，可以当作是行人检测和人员重识别（re-id）的统一任务。大多数现有的工作采用两阶段检测器，如 Faster-RCNN，准确性还行，但计算开销很大。

本次工作，提出 Feature-Aligned Person Search Network（AlignPS），是首个有效解决这一挑战性任务的无锚框架。AlignPS 明确地解决了主要的挑战，当适应这个任务的无锚检测器时，作者将其总结为不同级别（即规模、区域和任务）的错位问题。更具体地说，提出一个对齐的特征聚合模块，通过遵循 "re-id first "的原则来生成更具判别力和鲁棒性的特征嵌入。

这样一个简单的设计直接将 CUHK-SYSU 上的基线无锚模型在 mAP 中提高了 20% 以上。此外，AlignPS 超过了最先进的两阶段方法，而且速度更高。

作者 | Yichao Yan, Jinpeng Li, Jie Qin, Song Bai, Shengcai Liao, Li Liu, Fan Zhu, Ling Shao

单位 | IIAI；牛津大学

论文 | https://arxiv.org/abs/2103.11617

代码 | https://github.com/daodaofr/AlignPS

跨模态人员重识别

Farewell to Mutual Information: Variational Distillation for Cross-Modal Person Re-Identification

用于跨模态人员重识别的新方法：Variational Self-Distillation （VSD）。

作者 | Xudong Tian, Zhizhong Zhang, Shaohui Lin, Yanyun Qu, Yuan Xie, Lizhuang Ma

单位 | 华东师范大学；厦门大学；上海交通大学

论文 | https://arxiv.org/abs/2104.02862

基于部分身体的行人重识别

Partial Person Re-identification with Part-Part Correspondence Learning

作者 | Tianyu He、 Xu Shen、Jianqiang Huang、Zhibo Chen、 Xian-Sheng Hua

单位 | 阿里达摩院；中国科学技术大学

论文 | 

https://openaccess.thecvf.com/content/CVPR2021/papers/He_Partial_Person_Re-Identification_With_Part-Part_Correspondence_Learning_CVPR_2021_paper.pdf

无监督人员重识别

Group-aware Label Transfer for Domain Adaptive Person Re-identification

为了解决无监督域适应人员重识别任务，提出 group-aware label transfer （GLT），将准确的伪标签预测和有效的ReID表示学习结合在一个统一的优化目标中。

在线 label refining 算法和群体感知策略的结合，可以更好地以在线方式修正嘈杂的伪标签，缩小目标身份的搜索空间。Market1501→DukeMTMC（82.0％）和 DukeMTMC→Market1501（92.2％）的实验结果（Rank-1 accuracy）证明了所提出的 GLT 的有效性，明显缩小了无监督和有监督的人员重识别性能之间的差距。

作者 | Kecheng Zheng, Wu Liu, Lingxiao He, Tao Mei, Jiebo Luo, Zheng-Jun Zha

单位 | 中国科学技术大学；京东；罗切斯特大学

论文 | https://arxiv.org/abs/2103.12366

代码 | https://github.com/zkcys001/UDAStrongBaseline

代码 | https://github.com/JDAI-CV/fast-reid

Joint Generative and Contrastive Learning for Unsupervised Person Re-identification

作者将生成对抗网络（GAN）和对比性学习模块纳入一个联合训练框架。GAN 为对比性学习提供在线数据增强，而对比性模块则为生成学习视图不变的特征。设计出一个基于网格的视图生成器。

具体来说，mesh projections 可以作为生成一个人的新视图参考。此外，提出 view-invariant loss，以促进原始和生成的视图之间的对比学习。与以往基于 GAN 的无监督 ReID 方法不同的是，它不依赖于标记的源数据集，使得所提出方法更加灵活。

广泛的实验结果表明，在几个大规模的 ReID 数据集上，所提出方法在完全无监督和无监督的域适应性环境下都明显优于最新的方法。

作者 | Hao Chen, Yaohui Wang, Benoit Lagadec, Antitza Dantcheva, Francois Bremond

单位 | Inria；Universite C´ ote d’Azur；

论文 | https://arxiv.org/abs/2012.09071

代码 | https://github.com/chenhao2345/GCL

Unsupervised Pre-training for Person Re-identification

本文为解决由于现有的人员重识别数据集规模的有限性，导致数据标注成本高的问题，创建了大规模的无标记的人员重识别（Re-ID）数据集 "LUPerson"，并首次尝试进行无监督的预训练，以提高所学的人员重识别特征表示的泛化能力。

基于这个数据集，作者从两个角度系统地研究了学习 Re-ID 特征的关键因素：数据增强和对比性损失。在这个大规模的数据集上进行的无监督预训练有效地产生了一个通用的 Re-ID 特征，可以使所有现有的人员重识别方法受益。

在一些基本的框架中使用改预训练模型，在 CUHK03, Market1501, DukeMTMC 和 MSMT17 四个广泛使用的 Re-ID 数据集上取得了最先进的结果。另外结果还表明，在小规模的目标数据集上或在小样本环境下，性能的提高更为明显。

作者 | Dengpan Fu, Dongdong Chen, Jianmin Bao, Hao Yang, Lu Yuan, Lei Zhang, Houqiang Li, Dong Chen

单位 | 中国科学技术大学；微软

论文 | http://arxiv.org/abs/2012.03753

代码 | https://github.com/DengpanFu/LUPerson

Unsupervised Multi-Source Domain Adaptation for Person Re-Identification

本次研究，作者试图从 domain-specific 和 domain-fusion 两个视角解决人员重识别的无监督多源域适应训练的问题。提出两个建设性的模块，并且它们是相互兼容的。

首先，提出 rectification domain-specific batch normalization （RDSBN）模块，以同时减少 domain-specific 的特征和增加人物特征的独特性。其次，开发一个基于图卷积网络（GCN）的多域信息融合（MDIF）模块，该模块通过融合不同域的特征来最小化域的距离。

所提出的方法在很大程度上优于最先进的 UDA 人员重识别方法，甚至在没有任何后处理技术的情况下达到了与监督方法相当的性能。

作者 | Zechen Bai, Zhigang Wang, Jian Wang, Di Hu, Errui Ding

单位 | 百度；中国人民大学；

论文 | https://arxiv.org/abs/2104.12961

备注 | CVPR 2021 Oral

Joint Noise-Tolerant Learning and Meta Camera Shift Adaptation for Unsupervised Person Re-Identification

文中提出一个新的无监督重新识别框架，它是基于 Dynamic 和 Symmetric Cross-Entropy 损失（DSCE）和摄像头感知元学习算法（MetaCam）所设计的。DSCE 可以处理不断变化的集群，并能在模型优化过程中抵御噪声样本。MetaCam 通过模拟训练过程中的跨摄像头搜索过程，可以有效地减少摄像头的位移。并通过实验验证了所提出方法的有效性，在三个数据集上，完全无监督的重新识别和域适应性重新识别都能取得最先进的结果。

作者 | Fengxiang Yang, Zhun Zhong, Zhiming Luo, Yuanzheng Cai, Yaojin Lin, Shaozi Li, Nicu Sebe

单位 | 厦门大学；特伦托大学；闽江学院；闽南师范大学

论文 | https://arxiv.org/abs/2103.04618

代码 | https://github.com/FlyingRoastDuck/MetaCam_DSCE

Intra-Inter Camera Similarity for Unsupervised Person Re-Identification

大多数无监督的人员重识别（Re-ID）工作通过测量特征的相似性来产生伪标签，而不考虑摄像机之间的分布差异，导致不同摄像机之间的标签计算的准确性下降。

本次工作的目的是通过研究一种新的摄像机内部相似性来生成伪标签，以解决上述难题。作者将样本相似性计算分为两个阶段，即 intra-camera 和 inter-camera computations，分别进行。摄像机内计算直接利用 CNN 的特征进行每个摄像机内的相似性计算。不同摄像机上产生的伪标签在多分支网络中训练re-id 模型。

这种简单的相机内相似性在多个数据集上产生了令人惊讶的性能，例如，在Market1501 数据集上达到了 89.5% 的排名第一的准确率，比最近的无监督作品高出 9% 以上，并且与最新的利用额外标注的迁移学习作品相当。

作者 | Shiyu Xuan, Shiliang Zhang

单位 | 北大

论文 | https://arxiv.org/abs/2103.11658

代码 | https://github.com/SY-Xuan/IICS

可见光红外人员重识别

Discover Cross-Modality Nuances for Visible-Infrared Person Re-Identification

提出联合 Modality 和 Pattern Alignment Network（MPANet）来发现不同模式中的细微差别，用于可见光红外人员重识别，它引入一个 modality alleviation module（模式缓解模块）和一个 pattern alignment module（模式对齐模块）来共同提取鉴别性特征。在公共的 SYSU-MM01 和 RegDB 数据集上进行的广泛实验证明了 MPANet 由于 SOTA 。

作者 | Qiong Wu、Pingyang Dai、Jie Chen、Chia-Wen Lin、Yongjian Wu、Feiyue Huang、Bineng Zhong、Rongrong Ji

单位 | 厦门大学；北大；台湾清华大学；腾讯优图等

论文 | 

https://openaccess.thecvf.com/content/CVPR2021/papers/Wu_Discover_Cross-Modality_Nuances_for_Visible-Infrared_Person_Re-Identification_CVPR_2021_paper.pdf

换装人员重识别

Fine-Grained Shape-Appearance Mutual Learning for Cloth-Changing Person Re-Identification

本文研究换装人员重识别，提出细粒度的形状-外观相互学习框架（FSAM），是一个双流框架，在形状流中学习细粒度的辨别性体形知识，并将其迁移到外观流中以补充外观特征中与服装无关的知识。在基准换装 Re-ID 数据集上对所提出方法进行了评估，并取得了 SOTA 性能。

作者 | Peixian Hong、Tao Wu、Ancong Wu、Xintong Han、Wei-Shi Zheng

单位 | 中山大学；鹏城实验室；虎牙等

论文 | 

https://openaccess.thecvf.com/content/CVPR2021/papers/Hong_Fine-Grained_Shape-Appearance_Mutual_Learning_for_Cloth-Changing_Person_Re-Identification_CVPR_2021_paper.pdf

其它

Coarse-to-Fine Person Re-Identification with Auxiliary-Domain Classification and Second-Order Information Bottleneck

本文为了解决有关类内变异的问题，提出一个 Coarse-to-Fine Re-ID 框架，其中包含 auxiliary-domain 分类（ADC）和二阶信息瓶颈（2O-IB）。实验结果验证所提出方法在标准评价指标方面可以超过以前的方法。

作者 | Anguo Zhang、Yueming Gao、Yuzhen Niu、Wenxi Liu、 Yongcheng Zhou

单位 | 福州大学

论文 | 

https://openaccess.thecvf.com/content/CVPR2021/papers/Zhang_Coarse-To-Fine_Person_Re-Identification_With_Auxiliary-Domain_Classification_and_Second-Order_Information_Bottleneck_CVPR_2021_paper.pdf

Person Re-identification using Heterogeneous Local Graph Attention Networks

文中提出一个新的深度图模型，Heterogeneous Local Graph Attention Networks（HLGAT），用来同时模拟完成的局部图中的 inter-local 关系和intra-local 关系。在Market-1501、CUHK03、DukeMTMC-reID和MSMT17 上进行的大量实验表明，所提出的 HLGAT 优于最先进的方法。

作者 | Zhong Zhang、Haijia Zhang、Shuang Liu

单位 | 天津师范大学

论文 | 

https://openaccess.thecvf.com/content/CVPR2021/papers/Zhang_Person_Re-Identification_Using_Heterogeneous_Local_Graph_Attention_Networks_CVPR_2021_paper.pdf

Learning 3D Shape Feature for Texture-insensitive Person Re-identification

本次工作中，作者提出学习一种对纹理不敏感的三维形状表示，并证明在服装纹理混乱情况下的有效性。

具体来说，提出一个新的框架，通过结合人的 ReID 和三维人体重建，以端到端的训练方式来捕捉三维形状 ReID 特征。为了解决缺乏训练三维重建的ground truth 问题，引入Adversarial Self-Supervised Projection（ASSP）的无监督模块，通过对抗性学习确保粗略的 body manifolds，并通过自监督 projection 从三维到二维来适应细致的身体细节。

在服装纹理混乱的 ReID 基准或普通 ReID 基准上的实验结果说明了所提出的模块的有效性。

作者 | Jiaxing Chen、Xinyang Jiang、Fudong Wang、Jun Zhang、 Feng Zheng、Xing Sun、Wei-Shi Zheng

单位 | 中山大学；鹏城实验室；腾讯优图；南方科技大学；琶洲实验室

论文 | 

https://openaccess.thecvf.com/content/CVPR2021/papers/Chen_Learning_3D_Shape_Feature_for_Texture-Insensitive_Person_Re-Identification_CVPR_2021_paper.pdf

UnrealPerson: An Adaptive Pipeline towards Costless Person Re-identification

UnrealPerson: 一个自适应的管道，实现无成本的人员重识别

作者 | Tianyu Zhang, Lingxi Xie, Longhui Wei, Zijie Zhuang, Yongfei Zhang, Bo Li, Qi Tian

单位 | 北航；鹏城实验室；清华等

论文 | https://arxiv.org/abs/2012.04268

代码 | https://github.com/FlyHighest/UnrealPerson

Learning to Generalize Unseen Domains via Memory-based Multi-Source Meta-Learning for Person Re-Identification

本次工作研究了 ReID 中的多源域泛化问题，目的是学习一个模型，能够在只有几个标记的源域的情况下，在未见过的域中表现良好。为此，提出基于记忆的多源元学习（M3L）框架，来训练一个未见过的域泛化模型。并通过实验证明，M3L 可以有效地提高模型对未见域的泛化能力，并且在四个大规模的 ReID 数据集上的表现超过了最先进的方法。

作者 | Yuyang Zhao, Zhun Zhong, Fengxiang Yang, Zhiming Luo, Yaojin Lin, Shaozi Li, Nicu Sebe

单位 | 厦门大学；特伦托大学；闽南师范大学

论文 | https://arxiv.org/abs/2012.00417

代码 | https://github.com/HeliosZhao/M3L

Neural Feature Search for RGB-Infrared Person Re-Identification

本次工作研究了一种通用的范式，神经特征搜索（NFS），以实现特征选择过程的自动化。具体来说，NFS 结合了 dual-level feature search space （双级特征搜索空间）和 differentiable search strategy（可微搜索策略），共同选择粗粒度通道和细粒度空间像素中的身份相关线索。这种组合使 NFS 能够自适应地过滤背景噪音，并以数据驱动的方式集中于人体的信息部分。此外，一个跨模态对比优化方案进一步指导 NFS 搜索能够最小化模态差异同时最大化类间距离的特征。

在主流基准上进行的大量实验表明，所提出方法优于最先进的方法，特别是在RegDB 数据集上取得了更好的性能，在 Rank-1 和 mAP 上分别有 11.20%和 8.64% 的明显改善。

作者 | Yehansen Chen, Lin Wan, Zhihang Li, Qianyan Jing, Zongyuan Sun

单位 | 中国地质大学（武汉）；中国科学院大学

论文 | https://arxiv.org/abs/2104.02366

Combined Depth Space based Architecture Search For Person Re-identification

文中引入 Combined Depth Space，并通过 top-2 样本搜索得到一个轻量级的高效网络，CDNet，它可以有效地用于 ReID。通过实验表明，所提出的 Fine-grained Balance Neck 能有效地平衡 triplet loss 和 softmax loss 的影响。更多的实验也进一步证明，CDNet 优于为人员重识别任务提出的最先进的轻量级网络。

作者 | Hanjun Li, Gaojie Wu, Wei-Shi Zheng

单位 | 中山大学；鹏城实验室；琶洲实验室

论文 | https://arxiv.org/abs/2104.04163

- END -

编辑：CV君

转载请联系本公众号授权

END,入群????备注：ReID