CVPR_W2020Attribute-guided Feature Extraction and Augmentation Robust Learning for Vehicle Re-id详解

摘要

车辆再识别是智能交通系统和智慧城市的核心技术之一，但类内多样性和类间相似性对现有方法提出了巨大的挑战。本文提出了一种利用属性信息，同时引入两种新的随机增益的多导学习方法，以提高训练过程中的鲁棒性。在此基础上，提出了一种属性约束方法和分组重排序策略来优化匹配结果。在CVPR 2020 AI城市挑战赛中，获得了66.83%的mAP和76.05%的rank-1准确率。

本文提出的方法主要针对车辆ReID任务提取鲁棒特征，最后采用集成和重排序方法对结果进行优化。

1.提出了一种利用属性信息进行车辆ReID的方法。
2.在图像质量差异较大的情况下，引入随机收缩和背景替换增强，以提高模型的鲁棒性。
3.我们引入了属性约束方法和分组重排序策略，以获得更准确的匹配结果。
4.在CVPR 2020 AI城市挑战赛中获得了66.83%的mAP和76.05%的rank-1准确率。

相关任务

在vehicle ReID任务中，Liu等[11]采用类似于PCB在行人ReID中的方法切割feature map的通道/宽度/高度维度，结合车辆的特征信息，监督网络训练，每个分支网络输出concat作为最终输出；Wang等人[27]为车辆提出20个固定关键点，并结合关键点加强提取的特征，提高特征的代表性;Chu等人[2]将车辆的方向信息进行组合，分别对方向相同的车辆和方向不同的车辆进行处理，以减少方向对结果的干扰;他和[5]等人利用检测模型获取车灯、年检标志等区域，然后增强这些区域的特征，提高特征的表征能力;Lou等[12]利用GAN生成一些具有相同品牌但细节不同的困难样本，然后利用这些困难样本训练网络;Sochor和其他[16]使用车辆的3d盒和视角信息来协助网络提取特征。

罗等人的[14]提出了网络设计或训练时的一些技术，包括设计BNNeck、对不同的特征向量应用三重损失和分类损失、以及学习率热身策略。ID loss, center loss and triplet loss、随机擦除增强等方法的结合是非常有效的。Zhong等人提出的重排序方法[29]利用查询与图库之间的相互信息，进一步优化再识别性能。

方法说明

在本节中，我们将介绍我们提出的vehicle ReID方法。首先，在不同的模型结构下使用5个特征提取器获得鲁棒特征，利用cross-entropy loss, triplet loss and center loss对特征提取器进行训练。最后，提出了一种基于查询聚类和属性约束的重新排序方法，对最终结果进行细化。

ResNet50：去掉了上一阶段的降采样操作，用IBN替换每个block，残差分支上第一个1x1 conv后的BN。Fbn是指BNNeck之后的特征；Densenet161：我们在网络中保留最后的空间下采样操作；HRnetw18c：，我们在残差分支上的第一个1x1 conv后使用BN而不是IBN。所有特征提取器输出Fbn特征作为输出特征。

文中使用不同的模型架构，基于基线构建了5个特征提取器。其中ResNet50特征提取器作为主干，还构建了HRnetw18c特征提取器和Densenet161特征提取器。然后，训练基于属性引导的网络获取详细特征。为了获得抗背景噪声的鲁棒特征，使用了经过背景替换训练的Densenet161特征提取器。五个特征提取器分别训练。在测试阶段，将所有的特征拼接在一起作为最终的特征。

tricks

随机收缩:使用边框裁剪后，物体图像的平均大小变化很大。因此，采用随机收缩增广来提高性能。对于尺寸大于目标尺寸的对象，我们生成一个介于0.4 - 0.6之间的随机数作为比例因子。然后，我们以0.5的概率通过缩放因子随机缩小对象，并将其调整为输入大小。这种操作可以显著提高测试集中小对象的性能。

背景替代:在我们的实验中，使用仿真数据集进行训练，大大提高了我们模型的性能。因此，训练了一个PSPnet来获得车辆身份的分割Mask，并利用它来分割车辆和背景。训练前，图像中的背景随机替换其他输入的背景，替换的概率为0.5。

特征集成:为了得到测试阶段车辆更全面、更准确的特征，我们将ResNet50、Densenet161与背景替换网络、HRnetw18c和属性导向网络(Attribute-Guided Network, AGN)生成的特征连接起来进行模型集成，加权输出。

loss使用cross-entropy loss，triplet loss，center loss。

属性引导网络

车辆类型、颜色等属性对车辆外观的变化具有很强的抗冲击能力，主要是由于遮挡和视角不同造成的。如图所示。一个通用的特征图F是由ResNet50主干生成的。然后，特征送入FC中，生成一个ReID分支和两个属性分支，得到属性引导的feature type和feature color用于属性分类任务。三组fc特征concat输出作为最终输出。

在类型和颜色分类分支中，采用交叉熵损失进行多任务学习。

属性约束

为了在ReID任务中更好的区分不同类型和颜色的车辆，我们对track2数据集中所有id手工标注类型属性和颜色属性，并分别训练一个颜色分类网络和一个类型分类网络来标注基准车辆的属性。在查询库与查询库之间的欧氏距离上采用了约束策略。引入约束后，查询qi与gallery gj之间的新距离d可以计算为

其中Ti和Tj为qi和gj的车型，Ci和Cj为qi和gj的颜色，dold(i, j)为qi和gj之间的欧氏距离，δt和δc为两个惩罚值。

重排序re-rank

由于查询的质量和姿态的不同，仅从一幅图像得到准确的表示是困难的。为了解决这一问题，我们将欧几里德距离小于θ的查询分组，并将分组的平均特征作为它们的表示。同时，被查询库也以同样的轨迹聚集在一起。我们的重新运行策略是基于查询集群和图片库集群。

给定第i个查询qi(组均值特征ci)和第j个被查询库gj(组特征fj)。如果qi与gj的欧氏距离小于θ，则认为gj是qi的相似恒等式，然后在qi的匹配序列中，在gj之后插入与gj具有相同tracklet的查询库。