CVPR2020 ReID（1）——相关论文汇总及解读

CVPR 2020相关的论文出来了，最近刚好在做一些和Reid相关的工作，所以决定把这部分的论文整理整理，与人方便自己方便。欢迎大家交流指正。

（1）Camera On-boarding for Person Re-identification using Hypothesis Transfer Learning

这篇文章目标是将已有Reid模型通过一定的方法可以推广到新的camera环境中去。作者把这种方法称为假设迁移学习，大致可以认为，利用已有的source集上训练的模型和少量的已有的标注数据，就可以完成对于新场景下任务的适配。这个方法很有意思，最近看过相似的文章在做类似的事情。

（2）Salience-Guided Cascaded Suppression Network for Person Re-identification

本文认为提高Reid性能的瓶颈在于抓住一些非显著特征的细节信息。所以作者提出了一种级联抑制策略，使得网络能够一步一步地挖掘出被其他显著特征掩盖的各种潜在有用特征，并且每个阶段都集成了不同的特征嵌入，以实现最后一种有区别的行人表示。

（3）Inter-Task Association Critic for Cross-Resolution Person Re-Identification

本文尝试探索一种超分辨率模型和Reid模型联合训练的方法，用来解决由于gallery和query分辨率不一致导致的性能差异。

（4）Hi-CMD: Hierarchical Cross-Modality Disentanglement for Visible-Infrared Person Re-Identification

基于红外的Reid在一些夜视的应用中相当重要。Vi-Reid（VI-ReID）会受到一些跨模态，不同光线环境等比纯视觉Reid更难的挑战。文中提出了一个分层跨模态分离模型来解决这个问题。

（5）Learning Longterm Representations for Person Re-Identification Using Radio Signals

这篇论文私以为创意不错，但是实用的话有点鬼扯。文章说Reid所依赖的大部分信息，衣服款式，颜色，发型等很多关键信息都只是在短时间内不变的，很难做到长时间跨度的Reid。所以为了解决这个长时间跨度的问题。作者就提出了，我们使用射频信号来采集人的体型等信息，这是不是就很nice了，而且没有冒犯隐私，技术也可行，黑人问号脸，我并不觉得可以。

（6）Pose-guided Visible Part Matching for Occluded Person ReID

为了解决局部遮挡的问题，文本提出了一个基于Pose引导的局部匹配的reid的方法。方法中使用 pose-guided attention 在增强对于局部细节的关注能力，同时增加了一个模块来判断该局部部分是否被遮挡。

（7）Real-world Person Re-Identification via Degradation Invariance Learning

. 作者认为现有的Reid方法无法大面积推广到真实世界的reid任务中去。这是因为真实世界的图片分辨率低等很多问题，而且存在domain gap这样一个难以解决的问题。作者尝试通过引入一种自我监督的分离表征学习策略，能够直接在低分辨率图片上提取鲁棒的特征信息。

（8）Style Normalization and Restitution for Generalizable Person Re-identification

文章认为Reid的一个难点在于无法充分排除干扰信息以及学习具有cross-domain特征的能力。本文针对这个提出了SNR模块，具体解释就是规范和恢复两个模块，规范模块用来删除一些样式的变化，而恢复模块则通过蒸馏恢复一些被删除却具有判别能力的信息。

（9）Unsupervised Person Re-identification via Softened Similarity Learning

尝试一种新的方法去进行无监督的reid训练。依循之前无监督reid的模式，还是使用迭代训练机制，但是取消了聚类。由于聚类没有办法得到确定的簇的数量以及簇的损失，转而使用图形级别的相似度来进行这种无监督的reid训练。

（10）Unity Style Transfer for Person Re-Identification

本文尝试通过GAN去解决reid中的风格变化问题。具体来说就是现有面对风格变化的方法是寻找不同摄像机之间不变的特征，但是当摄像机数量变大，就会使得这个工作变得困难。这篇论文就说既然困难是由不同的风格造成，那么可不可以去通过一个gan产生一个平均风格，这样所有图片的风格就类似了。

（11）Cross-modality Person re-identification with Shared-Specific Feature Transfer

现有的关于跨模态ReiD的研究主要集中在通过在同一特征空间中嵌入不同的模式来学习模态共享表示，这一操作降低了特征显著性的上限。在本文中提出了一种新的跨模态共享特定特征转移算法（称为cm-SSFT），以探索模态共享信息和模态特定特征对提高识别性能的潜力。根据共享特征对不同模式样本的特征进行建模，然后在模式之间和模式之间转移共享和特定特征。同时还提出了一种互补性特征学习策略，包括模态自适应、项目对抗性学习和重建增强，分别学习不同模态的区分性、互补性、共享性和特定性特征。整个cmSSFT算法可以进行端到端的训练。

（12）Parsing-based View-aware Embedding Network for Vehicle Re-Identification

这篇车辆Reid的论文任务需要解决多视角的任务。所以就通过一个解析网络，将一辆车解析成四个不同的视图，然后通过掩码平均池对特征进行对齐。这种对齐方式提供了车辆的细粒度表示。其次，为了增强视图感知特性，设计了一个共同的可视关注点来关注共同的可视视图，这样不仅缩短了实例间的距离，而且扩大了实例间的差异。PVEN有助于捕获不同视角下车辆的稳定判别信息。

（13）High-Order Information Matters: Learning Relation and Topology for Occluded Person Re-Identification

本文通过学习高阶关系和拓扑信息，提出了一种新的鉴别特征和鲁棒对齐框架。首先，我们使用CNN骨干网和关键点估计模型来提取语义局部特征。即使如此，被遮挡的图像仍然会受到遮挡和孤立点的影响。然后，将图像的局部特征看作图的节点，提出了一种自适应方向图卷积（ADGC）层来传递节点间的关系信息。提出的ADGC层通过动态学习方向和关联度，自动抑制无意义特征的信息传递。在对两幅图像的两组局部特征进行对齐时，将其视为一个图匹配问题，并提出了一个交叉图嵌入对齐（CGEA）层来共同学习和嵌入局部特征的拓扑信息，并直接预测相似度得分。所提出的CGEA层不仅充分利用了通过图匹配学习到的对齐方式，而且将敏感的一对一匹配替换为鲁棒的软匹配。

代码：https://github. com/wangguanan/HOReID

（14）Smoothing Adversarial Domain Attack and p-Memory Reconsolidation for Cross-Domain Person Re-Identification

为了减小源域和目标域之间的距离，提出了一种平滑对抗域攻击（SADA）方法，该方法通过使用一个分类器来引导源域图像对齐目标域图像。为了稳定跨域知识转移的记忆轨迹，提出了一种p-记忆再整合（pMR）方法，在目标域的自训练过程中，以小概率p重新整合源知识。

（15）Transferable, Controllable, and Inconspicuous Adversarial Attacks on Person Re-identification With Deep Mis-Ranking

在这项工作中，通过提出一个学习错序公式来干扰系统输出的排序，来检验当前性能最佳的模型的不安全性。由于跨数据集的可迁移性在ReID领域是至关重要的，还通过开发一种新的多级网络架构来执行后箱攻击，该架构将不同级别的特征金字塔化，以提取对抗性扰动的一般和可传输特征。

code:https://github. com/whj363636/Adversarial-attack-onPerson-ReID-With-Deep-Mis-Rankin

（16）Unsupervised Person Re-identification via Multi-label Classification

本文将无监督Reid定义为一个多标签分类任务，以逐步寻找真正的标签。我们的方法首先给每个人的图像分配一个类标签，然后利用更新的ReID模型进行标签预测，发展到多标签分类。标签预测包括相似度计算和周期一致性，以保证预测标签的质量。为了提高多标签分类的ReID模型训练效率，我们进一步提出了基于内存的多标签分类丢失（MMCL）。MMCL与基于内存的非参数分类相结合，在统一的框架中集成了多标签分类和单标签分类。我们的标签预测和MMCL迭代工作，大大提高了ReID的性能。在几个大规模的人-里德数据集上的实验证明了我们的方法在无监督人-里德中的优越性。我们的方法还允许在其他域中使用标记的人物图像。在这种迁移学习环境下，我们的方法也达到了最先进的性能。

（17）Learning Multi-Granular Hypergraphs for Video-Based Person Re-Identification

基于视频的人员重新识别（re-ID）是计算机视觉中的重要研究主题。解决挑战性任务的关键是在视频序列中同时利用空间和时间线索。在这项工作中，我们提出了一个新颖的基于图的框架，即多粒度超图（MGH），以通过在多个粒度方面对时空依赖性进行建模来追求更好的表示能力。具体来说，在视频序列中使用不同级别的基于零件的特征来构造具有不同空间粒度的超图。在每个超图中，通过连接跨不同时间范围的一组图节点（即基于零件的特征）的超边来捕获不同的时间粒度。所提出的超图传播和特征聚合方案明确解决了两个关键问题（未对准和遮挡）。最后，我们通过基于互信息最小化来学习更多粒度的多种粒度的图形级表示，进一步增强了整体视频表示

code: https://github.com/daodaofr/ hypergraph_reid.

（18）Spatial-Temporal Graph Convolutional Network for Video-based Person Re-identification

尽管基于视频的人员重新识别（Re-ID）近年来引起了越来越多的关注并取得了长足的进步，但要有效克服视觉相似的负样本的遮挡问题和视觉歧义问题，仍然是非常具有挑战性的。另一方面，我们观察到视频的不同帧可以为彼此提供补充信息，而行人的结构信息可以为外观特征提供额外的判别线索。因此，对不同帧的时间关系和帧内的空间关系进行建模具有解决上述问题的潜力。在这项工作中，我们提出了一种新颖的时空图卷积网络（STGCN）来解决这些问题。 STGCN包括两个GCN分支，一个空间分支和一个时间分支。空间分支提取人体的结构信息。时态分支从相邻帧中挖掘判别线索。通过共同优化这些分支，我们的模型提取了与外观信息互补的可靠的时空信息。

（19）COCAS: A Large-Scale Clothes Changing Person Dataset for Re-identification

在现实世界中，一个人经常要换衣服。为了解决换衣服的人重新识别问题，我们构建了一个新颖的大规模重新识别基准，称为ClOthes换人集（COCAS），该基准提供了具有不同衣服的相同身份的多个图像。 COCAS总共包含来自5266人的62382幅人体图像。在COCAS的基础上，针对换衣服问题引入了新的人员reid设置，该查询中既包含服装模板，又包含拍摄其他服装的人员图像。此外，提出了一个名为生物识别衣服网络（BC-Net）的两分支网络，该网络可以有效地整合生物识别和衣服功能。

（20）Hierarchical Clustering with Hard-batch Triplet Loss for Person Re-identification

对于由聚类指导的完全无人监督的人员重新识别（re-ID）方法，由聚类生成的伪标签的质量直接决定了模型的性能。为了提高现有方法中伪标签的质量，提出了一种HCT方法，该方法将分层聚类与硬批量三重态损失相结合。 HCT的关键思想是通过分层聚类充分利用目标数据集中样本之间的相似性，通过硬批量三元组丢失减少硬样本的影响，从而生成高质量的伪标签并提高模型性能。具体来说，（1）使用层次聚类来生成伪标签，（2）在每次迭代中使用PK采样来生成用于训练的新数据集，（3）使用硬批三元组损失进行训练并评估每个模型的性能迭代。

（21）AD-Cluster: Augmented Discriminative Clustering for Domain Adaptive Person Re-identification

领域自适应人员重新识别（re-ID）是一项艰巨的任务，尤其是当目标域中的人员身份未知时。现有方法试图通过在各个域之间传递图像样式或对齐特征分布来解决这一难题，而目标域中丰富的未标记样本却没有得到充分利用。本文提出了一种新颖的增强判别聚类（AD-Cluster）技术，该技术可以估计和增强目标域中的人员聚类，并通过增强聚类来增强re-ID模型的判别能力。 AD-Cluster通过基于迭代密度的聚类，自适应样本扩充和判别式特征学习进行训练。它学习了一种图像生成器和特征编码器，旨在以对抗最小极大值的方式最大化样本空间中的簇内多样性并最小化特征空间中的簇内距离。最后，AD-Cluster增加了样本簇的多样性，并大大提高了re-ID模型的判别能力。

（22）Multi-Granularity Reference-Aided Attentive Feature Aggregation for Video-based Person Re-identificatio

基于视频的人员重新识别（reID）旨在跨视频片段匹配同一个人。由于帧之间存在冗余，新显示的外观，遮挡和运动模糊，因此这是一项具有挑战性的任务。在本文中，我们提出了一种关注特征聚合模块，即多粒度参考关注的关注特征聚合（MG-RAFA），以将时空特征精细地聚合为可区分的视频级特征表示。为了确定时空特征节点的贡献/重要性，我们建议使用卷积运算从全局视图中学习注意力。具体来说，堆叠其关系，即与代表全局视频信息的代表性参考特征节点（S-RFN）的代表集合成对相关，以及特征本身以引起注意。此外，为了利用不同级别的语义，建议基于在不同粒度下捕获的关系来学习多粒度注意。

（23）Relation-Aware Global Attention for Person Re-identification

对于人的重新识别（reid），attention机制变得有吸引力，因为它们旨在增强区分特征并抑制无关的特征，这与reid的关键即识别特征学习非常吻合。先前的方法通常使用局部卷积来学习注意力，而忽略了从全局结构模式中挖掘知识的过程。直觉上，特征图中空间位置/节点之间的亲和力提供类似聚类的信息，并且有助于推断语义并因此引起注意，尤其是对于人的可行姿势受限的人像。在这项工作中，我们提出了一个有效的“关系感知全局注意”（RGA）模块，该模块可以捕获全局结构信息以更好地学习注意。具体来说，对于每个特征位置，为了紧凑地掌握全局范围的结构信息和局部外观信息，建议堆叠关系，即其与所有特征位置的成对关联/亲和度（例如，按光栅扫描顺序）和特征本身一起使用浅层卷积模型来学习注意力

（24）Online Joint Multi-Metric Adaptation from Frequent Sharing-Subset Mining for Person Re-Identification

由于训练和测试数据之间存在严重的数据移动问题，因此它们的性能在很大程度上受到限制。因此，我们提出了一种在线联合多指标自适应模型，通过学习所有共享子集的一系列指标，来对在线数据的最佳学习Reid模型进行适配。每个共享子集都从提出的新颖的频繁共享子集挖掘模块中获取，并包含一组彼此具有很强的视觉相似性关系的测试样本。与现有的在线Reid方法不同，我们的模型同时考虑了样本特定的判别和测试样本之间基于集合的视觉相似性，因此，经过调整的多个度量可以通过多重联合定义所有给定样本的判别内核后期融合框架