Gu_Clothes-Changing_Person_Re-Identification_With_RGB_Modality_Only

1.研究背景

行人重识别旨在监控视频中通过在不同地点和不同时间搜索目标人物。现有的许多工作中都是假设行人在短时间内没有改变他们的衣服。然而，如果我们想要过长时间去识别一个行人，服装改变就不可避免。并且，服装改变问题在短时间真实世界场景中也是存在的。

2.主要贡献

1.Clothes-based Adversarial Loss (CAL)

2.构建了一个新的数据集CCVID

(a)原始的两个图象.(b)仅使用L(ID)损失的图像.(c)使用L(ID)和L(CA)损失的图像

3.相关工作

1）Clothes-changing person re-identification.

由于分离表征学习消耗时间，基于多模态方法需要额外的模型和设备，因此本文提出一种样本对抗损失从RGB模型中解耦服装无关特征。

2）Video person re-identification.

现有的视频行人重识别方法倾向于服装一致的设置，但这种设置经常服装相关特征过拟合和应用场景有限制，因此，本文关注于更衣场景，并通过学习与服装无关的特征提出了一种解决方案。

3）Gait recognition.

步态区分方法经常为了避免服装的干扰，它们通常舍弃原始的RGB帧，并在骨架 、轮廓 或解耦表示 上建模步态。但是许多服装无关特征是有效的，本文试图在原始RGB模型上挖掘更多的服装无关特征。

4）Adversarial learning.

受到PAR的启发，本文提出CAL去解耦服装无关特征。

4.方法框架

上面橙色部分是一般re-id训练的方法。

将数据通过主干网络进行特征提取，进入身份分类器中进行分类，之后将预测身份与真实身份标签做一个L(ID).

下面部分则是论文主要做的事。

主要是分两部分内容。

step1.通过最小化服装分类损失优化服装分类器（将预测服装与服装标签做一个交叉熵损失）。 这个过程表示为：

将经过L2范数归一化之后 的gθ(xi)表示为fi，将经过L2范数归一化后的第j个服装分类器的权重表示为ϕj。 Lc可以表示为

N:批量大小  Nc：训练集中服装类别数     ：训练过程中各服装分类的权重

step2.固定服装分类器参数，迫使主干网络学习服装无关特征。 这个过程表示为：

q(c):第c种服装对应的交叉熵权重     S+:正样本集合（同一个身份的不同类别服装互为正类）  S-:负样本集合   K:正样本数目（服装类别数目）

值得注意的是：LCA是一个多正类分类损失，其中同一身份下的所有服装类别都是相互正类。

衣服分类器是一个细粒度的辨别器，如果类似于PAR一样，则会惩罚它对于所有衣服种类的预测辨别能力，也会使得它对于人身份的辨别能力下降。

因为LCA主要的目的：使得衣服分类器不能辨别出同一个身份的不同着装。也就是所谓的惩罚重识别模型的骨干网络对于服装的预测能力。

5.优方案化

将fi与具有不同服装的正类代理之间的点积最大化时，可以提高服装变换重识别的准确性，但可能会降低服装一致重识别的准确性。为了在不严重降低服装一致重识别准确性的情况下提高模型的服装变换重识别能力.

最后通过：

6.消融实验

作者通过比对了三种传统的re-id方法和六种服装变换的re-id方法，得出在仅使用RGB图像中，CAL方法的性能优于其他方法。

7.结论

在这篇论文中，提出了基于服装的对抗性损失（CAL）用于服装更换行人重识别。在训练过程中，CAL通过惩罚重识别模型的骨干网络对于服装的预测能力，迫使其学习与服装无关的特征。因此，所学习的骨干网络可以更好地从原始的RGB模态中挖掘与服装无关的信息，并对服装的变化更具鲁棒性。在新构建的CCVID和其他相关数据集上进行的大量实验证明，CAL在很大程度上始终优于基准方法。仅使用RGB图像，在这些数据集上表现优于所有最先进的方法。希望CAL能成为未来服装更换行人重识别方法中常用的损失函数。