Ranking-Based Siamese Visual Tracking（基于排序的暹罗视觉跟踪）-CVPR2022

摘要：

目前基于暹罗的跟踪器主要将视觉跟踪分为两个独立的子任务，包括分类和定位。它们通过单独处理每个样本来学习分类子网络，忽略了正负样本之间的关系。此外，这样的跟踪范例仅采用用于最终预测的建议的分类置信度，这可能产生分类和定位之间的不对准。为了解决这些问题，本文提出了一种基于排序的优化算法，以探索不同的建议之间的关系。为此，我们引入了两个排名损失，包括分类和IoU引导。
作为优化约束：
分类排序损失可以确保正样本的排序高于硬负样本，即，干扰项，使得跟踪器可以成功地选择前景样本而不被干扰项愚弄。
IoU排序损失旨在将分类置信度分数与阳性样本的对应定位预测的交集（IoU）对齐，从而使得能够通过高分类置信度来表示良好定位的预测。
具体而言，建议的两个排名损失是兼容的大多数暹罗跟踪器，并不会产生额外的计算推理。
代码和原始结果可在https://github.com/ sansanfree/RBO上获得。

引入:

尽管基于暹罗的跟踪器已经实现了有希望的性能，但是仍然受到两个限制：
（1）连体追踪者难以区分背景干扰物。特别地，在训练阶段，分类子网络由大量训练样本优化，其中存在大量无信息样本（easy sample），可以很容易地分类，而少数分散注意力的例子被淹没，并有助于对网络优化的微小影响。在测试时，虽然大多数非目标样本可以由跟踪器区分，背景干扰可能会严重误导跟踪器时，它有很强的正信心，导致跟踪失败。
(2)由于分类和定位任务是分开处理的，存在分类和定位任务不匹配的问题。更具体地说，分类损失驱动模型将相关目标与背景区分开来，而不管位置信息如何，而回归分支旨在定位所有正样本的目标边界框，而不考虑分类信息。因此，前景得分低的可能定位得分高，而前景得分高的可能定位得分低。
一个定义：
“Hard Negative Samples”（困难负样本）是指那些对模型来说比较难以正确分类的负样本。
“Easy Negative Samples”（简单负样本）则是相对于困难负样本而言的。它们是那些对模型来说相对容易正确分类的负样本。这些样本通常具有明显的特征或属性，使得模型可以轻松地将其识别为负样本。

实现:

**classification ranking:**确保正样本的排名高于负样本，这样跟踪器就可以成功地选择前景样本而不被干扰物所迷惑。
**IoU-guided Ranking:**将分类置信度分数与正样本的相应定位预测IoU相一致，即具有较大IoU的样本预期获得较高的分类置信度分数。

SiamRPN+±RBO：SiamRPN++和RBO
SiamBAN-RBO：SiamBAN和RBO
SiamPW-RBO:SiamBAN-RBO中用像素相关代替深度相关

结构

分类损失：对于困难负样本容易发生跟踪失败的问题，使得正样本排名高于困难负样本，旨在抑制干扰项的分类置信度。
IoU排名损失：缓解分类和定位之间的不匹配问题，旨在将分类与回归对齐，即，具有较大IoU的样本预期获得较高的分类置信度分数。（基于RankDetNet）
分类器实现：该分类器由交叉熵损失监督。然后，我们根据预测对象置信度得分对所有阴性样本进行排序。置信度得分低于τneg的阴性样本，例如，0.5，被过滤掉。其余的构成硬负样本集。

分类损失实现：

大多数基于暹罗的跟踪器经由交叉熵损失实现二进制分类，这可以确保大多数样本可以被正确分类。然而，如图3所示，一些硬负样本可能会穿过决策超平面并欺骗分类器。在跟踪任务中，只要一个负样本的分类得分大于所有正样本的分类得分，就会发生跟踪失败。因此，假阳性分类严重阻碍了跟踪器的鲁棒性。

1、获得正负样本集：训练分类器，该分类器由交叉熵损失监督。然后，我们根据预测对象置信度得分对所有阴性样本进行排序。置信度得分低于τneg的阴性样本，例如，0.5，被过滤掉。硬负样本集：{pj-}，正样本集{pj+ }。
2、对训练样本的期望进行排序：以扩大前景-背景分类裕度，同时时间复杂度可以显着降低到O（1）。硬性阴性和阳性样本的期望值定义为：（w代表权重，由softmax函数得到）

3、我们采用逻辑损失将期望P−和P+排序为

其中，β控制损失值，α是排名。具体来说，如果图像中没有硬负样本，我们将跳过此图像。如图3所示，在Lrank-cls的监督下，将决策超平面从h1调整到h2，并将硬负样本成功放置在负侧。注意，一些边界正样本可以位于决策超平面的负侧，这对于单个对象跟踪任务是可接受的，因为我们只需要一个正样本来表示被跟踪的目标。

IoU排名损失实现

IoU指导的排名损失，以协调分类和回归分支的优化。

对于正样本i，j ∈ Apos，以成对方式组织排名约束，其中pi和pj分别指示正样本i，j的前景置信度得分，viou i和viou j表示具有样本i和j的地面实况的预测IoU值。
在反向传播优化过程中，如果viou i > viou j，我们将优化pi和pj，使pi的排名高于pj;如果Pi > Pj，则遵循，我们将冻结viouj并且仅优化vioui以实现预期的排名。如果viou j未被冻结，则损失可以通过减小viou j而下降，这将妨碍回归优化。