论文阅读31 | Unified Batch All Triplet Loss for Visible-Infrared Person Re-identification

最新推荐文章于 2022-10-05 13:06:36 发布

Hygge MrYang

最新推荐文章于 2022-10-05 13:06:36 发布

阅读量1k

点赞数 1

分类专栏：跨模态行人重识别文章标签：机器学习深度学习人工智能

本文链接：https://blog.csdn.net/qq_38276972/article/details/119152894

版权

跨模态行人重识别专栏收录该内容

48 篇文章 55 订阅

订阅专栏

论文：Unified Batch All Triplet Loss for Visible-Infrared Person Re-identification

一、创新点

本文的创新点在于使用余弦距离对现有的三种损失函数进行了改进。1）改进难挖掘的跨模态三元组损失，考虑全部样本的所有情况，为减少计算量引入指数对数策略。2）改进ID损失，考虑样本向量和权重向量之间的余弦距离。3）改进难挖掘异质中心损失，考虑全部样本中心的所有情况，引入指数对数策略减少计算量。

二、网络框架

网络比较简单，没有增加复杂的模块。首先，引入了随机灰度作为一种数据增强方法，它随机选择具有0.5概率的部分可见图像，将其转换为灰色图像，来减少模态差异。网路bakbone选用resnet50，参数共享。使用1x1卷积层，降低特征图的通道维度。使用平均池化将特征图变为一维向量。最后，使用我们训练的三个损失函数来训练网络（全样本三元组损失、余弦ID损失、全样本中心损失）。
在这里插入图片描述

三、损失函数

1.Unified Batch All Triplet Loss(统一批处理全三元组损失)

（1）Batch Hard Triplet loss

对于VT ReID任务常用的采样策略是2PK采样策略，在一批中选择P个身份ID，对每个ID随机选择K张可见图像和K张红外图像。这样的采样策略确保每个ID在训练阶段都有足够的和相同数量的图像。常用的难挖掘三元组损失Batch Hard Triplet loss：
在这里插入图片描述
这个三元组的问题在于，形成三元组的所有样本有可能属于同一模态。就有可能导致，这意味着，在每次迭代中，一种模态被优化得更多，而另一种模态被优化得更少，这种不平衡将使模型难以拟合较少优化的模态。

（2）Cross Modality Batch Hard Triplet loss

为了解决该问题，有文献提出了在保留（1）的同时，添加一个跨模态三元组损失。添加的这个三元组，anchor来自一个模态，正负样本来自另一个模态。最终的损失包含了全局三元组损失和跨模态三元组损失。
在这里插入图片描述

（3）Unified Batch All Triplet Loss

作者认为与其设计三元组的采样cel，不如把所有样本都用来计算三元组损失。具体的，对于每一个anchor，依次遍历所有正样本和负样本，全部用来形成三元组。最后，再遍历每个样本anchor，对所有的anchor三元组求和。
在这里插入图片描述
对于每个anchor，会有2K-1个正样本，2PK-2K个负样本，每个anchor总共2(P-1)K(2K-1)个三元组。这样就考虑了所有的可能情况，不会出现优化不平衡的现象。然而计算复杂度太高，于是作者做了一下改进，提出了 Unified Batch All Triplet loss。

还是考虑所有样本形成三元组。只是将计算量降到了2(P-1)K + (2K-1)。另外，用exp替换[]+，这样所有的三元组都能造成适当的损失，而不只有大于margin的三元组。γ是比例因子，S是余弦距离。
在这里插入图片描述
以上三种三元组损失的比较：

2. Collaborative Optimization with Cosine Softmax Loss

普通计算ID损失：W是FC层参数。pi表示xi被正确分类的概率。yi是xi的类。Wj表示W中的第j列，Wj可以看作是j类的中心。
在这里插入图片描述

在计算ID损失的时候，Softmax loss是计算的向量内积；三元组损失计算的是向量之间的欧氏距离。它们不一致。更糟糕的是，在推理阶段，通常使用L2标准化向量，这意味着不管是向量内积还是欧几里得距离作为推理中的度量函数，它都相当于余弦距离。这与训练过程中使用的度量函数不一致。

为了解决这些问题，作者代替softmax loss，引入了Cosine Softmax loss。S计算余弦距离。
在这里插入图片描述
通过比较，Cosine Softmax loss 和 Softmax loss的区别是，前者优化了样本向量和权重向量之间的余弦距离，而后者优化了向量内积。此外，Cosine Softmax loss增加了一个margin，使属于同一类的点更加集中。

3.Batch All Hetero Center Triplet Loss

有文献提出难挖掘的异质中心三元组损失，考虑每个ID中心之间的距离。同ID的两模态特征中心的距离要小于该中心和其他所有中心距离一个margin。在这里插入图片描述
作者也是觉得应该考虑所有样本。所以对此进行改进，提出了Batch All Hetero Center Triplet Loss。v¯表示L2标准化向量。它考虑了所有的中心三元组，并优化了余弦距离。

以上两种中心损失的比较

4.总损失
在这里插入图片描述