Target-Aware Tracking with Long-term Context Attention（TATrack）学习笔记

Target-Aware Tracking with Long-term Context Attention

论文地址：https://arxiv.org/pdf/2302.13840

动机：

大多数深度追踪器仍然遵循孪生范例的指导，使用一个只包含目标而没有任何上下文信息的模板，这使得追踪器难以应对巨大的外观变化、快速的目标移动以及来自类似物体的吸引。为了缓解上述问题，提出了一个长期上下文注意(LCA)模块，该模块可以从长期帧对目标及其上下文进行广泛的信息融合，并在增强目标特征的同时计算目标相关性。完整的上下文信息包含目标位置以及目标周围的状态。LCA使用来自前一帧的目标状态来排除相似物体和复杂背景的干扰，从而准确定位目标，使跟踪器获得更高的鲁棒性和回归精度。通过在 Transformer 中嵌入 LCA 模块，我们构建了一个具有目标感知主干的强大在线跟踪器，称为 TATrack。此外，提出了一种基于历史信息分类置信度的动态在线更新算法，无需额外计算负担。

贡献：

1. 提出了一种新的跨帧注意模块，适用于目标与其上下文的融合交互。
2. 基于 LCA，我们构建了一个强大的跟踪器，其主干更适合跟踪任务。
3. 提出了一种简洁高效的基于分类置信度的在线更新方法，以选择计算负担非常低的高质量模板。

1、Introduction

在仔细调查了现有的孪生追踪器后，我们发现它们或多或少地继承了SiamFC的某些简单操作，但也有一些缺点，具体如下：

1. 由于外观信息不足，使用没有任何背景的目标模板与搜索区域相关联，将很难从与目标相似的背景吸引物中区分出真正的目标，也难以应对严重的外观变化；
2. 在跟踪任务中，在主干网络完全提取了图像特征之后执行相关操作，但主干网络最初是为分类任务设计的，因此特征提取对跟踪任务的适用性在一定程度上受到限制。
3. 跟踪器仅使用离线训练得到的最优模型来预测目标，模型只知道初始帧的目标外观，而没有在线更新的信息。

这样的跟踪器是静态的，它没有任何对视频序列中目标状态中发生的变化的感知。静态跟踪器缺乏对目标的连续变化的感知，并在长时间跟踪中失去了鲁棒性。 以上缺点在简单的跟踪场景中并不十分突出，但在复杂的跟踪场景中会迅速放大，因此需要克服。

受上述三个问题的启发，提出了一种长期上下文注意机制，该机制可以同时接受目标模板、历史帧和当前搜索帧作为输入，以自适应加权融合方式。

我们在LCA中嵌入了一个改进的位置编码器，使目标模板、历史帧和当前搜索帧在进行自我注意力计算的同时，还可以相互进行交叉注意力计算。LCA 广泛融合了跨越不同时间的图像的目标和上下文特征，可以有效地提取目标和围绕目标的状态信息。由于LCA模块具有相关性计算和特征提取功能，我们将多个LCA和SWA模块交替叠加，构建适合跟踪任务的骨干网。提出了一种非常简洁、高效的算法，该算法根据历史帧的分类置信度分数确定是否更新模板，从而实现高鲁棒性和避免上述两阶段方法等大量计算成本。

2、Method

Long-term Contextual Attention (LCA)

在本节中，我们首先介绍了提出的长期上下文注意(LCA)模块，该模块旨在集成来自多帧的目标和上下文信息。图2显示了LCA模块的概述。

LCA是一个强大的注意力计算模块，它可以整合目标模板、前一个模板和搜索到的图像的特征，根据目标模板的特征从前一个模板和搜索到的图像中感知到真正的目标，并在削弱干扰信息的同时强化目标的特征。同时，LCA可以根据目标状态隐含地找到搜索图像中的变化，包括在前一个模板中的外观和相对位置，进一步排除与目标相似的干扰物体，从而更准确地捕捉到当前目标状态。

在这个模块中，位置编码起着重要作用。我们知道，在自注意力公式1中，没有位置编码的自注意力公式是公式2，具有绝对位置编码的自注意力公式是公式 3。$x\in {\mathbb{R}}^{L\times d}$ 是输入特征，$p$ 是绝对位置编码，$W\in {\mathbb{R}}^{L\times d}$ 是线性变换矩阵。$Q、K和V$ 表示查询、键和值三个具有相同维度的映射矩阵。我们没有直接把目标模板、前一个模板和搜索图像作为一个整体来计算自我注意。由于目标模板、先前模板和搜索图像之间的关系在公式中不会被区分，这三个特征将被视为一个大图像，模型在三者之间构建联系的能力将受到限制。因此，我们必须改进位置编码。
$$\text{Attention}=\mathrm{Softmax}(w)x{W}^V$$

$$\text{where}w=\frac{1}{\sqrt{d}}(x{W}^Q)(x{W}^K{)}^T$$

$$\begin{array}{r}\\ w^{Al}s=\frac{\left(\left(x+p\right)W^Q\right){\left(\left(x+p\right)W^K\right)}^T}{\sqrt{d}}\end{array}$$

TUPE提出了解耦绝对位置编码（公式4）作为传统位置编码公式的替代方案，其中$U$是一个维数为$W$的可学习绝对位置编码的线性变换矩阵。
$$\begin{array}{rl}{w}^{Abs}& =\frac{1}{\sqrt{2d}}\left(x{W}^Q\right){\left(x{W}^K\right)}^T\\ & +\frac{1}{\sqrt{2d}}\left(p{U}^Q\right){\left(p{U}^K\right)}^T\end{array}$$
我们采用SWA公式5中使用的相对位置编码$r\in {\mathbb{R}}^{L\times L}$形式，其中$P_{i-j}$是根据$i-j$去索引的可学习变量。
$${\mathrm{r}}_{ij}={\mathrm{P}}_{i-j}$$
我们将为单一图像设计的位置编码扩展到多图像的情况。我们首先将输入目标模板、前一个模板和搜索区域的特征沿W和H维度展开为一个维度L，并沿L维度将三者串联在一起$x=Concat(z,pre,x)$，并对绝对位置编码$p=Concat(pz,ppre,px)$进行相同的操作。将相对位置编码 $r $划分为 $n\times m=9$ 个独立区域来计算$P_{i-j}$ ，如图 2 中的位置编码所示。最后，我们得到 LCA 注意力公式6。
$$\begin{array}{c}LC\mathrm{A}=\mathrm{Softmax}(w+a+r)x{W}^V\\ w=\frac{1}{\sqrt{2d}}(x{W}^Q)(x{W}^K{)}^T\\ a=\frac{1}{\sqrt{2d}}\left(p{U}^Q\right){\left(p{U}^K\right)}^T\\ r_{nm,ij}={\mathbf{P}}_{nm,i-j}\end{array}$$

Discussions：

为什么引入额外的先验模板？

1. 通过前面的模板引入丰富的背景信息，借助背景中前一个目标的相对位置来定位目标。
2. 添加先前的模板可以实现在线更新，并且先前的模板在最近的时间点包含目标的状态，以便更准确地回归目标。

为什么我们没有将背景添加到目标模板中？

因为，前一个模板在时间上更接近当前帧，而初始目标在目标模板中包括背景并不重要，只包括未更新的目标可以强调跟踪器对目标跟踪的一致性。

Overall

模型整体结构如图3所示。

Backbone

主干网络接受目标模板$z\in {\mathbb{R}}^{H_z\times W_z\times 3}$，前一个模板$pre\in {\mathbb{R}}^{H_{pre}\times W_{pre}\times 3}$和搜索图像$x\in {\mathbb{R}}^{H_z\times W_z\times 3}$的输入。为了更好地匹配LCA，我们选择具有相同Transformer结构的SWA来构建特征提取网络。在特征提取网络的第一阶段，我们使用大小为4的卷积核将图像特征修补并嵌入到$\frac{H}{4}\times \frac{H}{4}\times C$ 的feature令牌中。在Transformer操作中，令牌将H、W两个尺寸扩展为长度L。然后通过两个SWA模块。在每个后续阶段之前使用PaE，H、W减半，而C加倍。在第三阶段，我们在一组中使用两个SWA模块与LCA模块交替叠加。我们把两个SWA模块作为一组，因为两个SWA模块完成一个窗口的转移和恢复。目标特征、先前特征和搜索特征分别依次通过PaE和SWA模块，三者沿L维度拼接后输入LCA，LCA的输出依次被SWA约简为三个令牌进行特征提取。最后，从骨干网中获得了$\frac{H}{16}\times \frac{W}{16}\times 4C$令牌序列。

Neck

在这个阶段，我们添加关于前一个模板的目标位置和目标大小的编码信息。我们通过随机抖动前一个模板的区域来提高训练的稳健性，其中目标并不总是在图像的中心。先前的模板包含比目标更大的区域，为了避免相似目标引起的歧义，需要包含高斯定位信息。此外，我们采用了类似的方法，添加了$Ltrb$表示的长度和宽度信息，以帮助模型预测。对于前一帧 b p r e = { b x 1 , b y 1 , b x 2 , b y 2 } b_{pre}=\{b^{x_1},b^{y_1},b^{x_2},b^{y_2}\} bpre​={bx1​,by1​,bx2​,by2​}的边界框，我们首先用$(k^x，k^y)$表示特征图的每个位置。然后我们得到公式7表示的边界框信息$d_{pre}=(l,t,r,b)$。
$$\begin{array}{rlr}& l=k^x-b^{x_1}/s,r=b^{x_2}/s-k^x,& \\ & & \\ & t=k^y-b^{y_1}/s,b=b^{y_2}/s-k^y,& \\ & & \end{array}$$
其中$s=16$是图像映射到特征映射缩减的倍数。$d_{pre}\in {\mathbb{R}}^{H\times W\times 4}$，$\psi$是将$d$的维度从4映射到C的多层感知器，以获得目标的尺寸信息嵌入。使用广播机制将前面提到的高斯位置映射$y_{pre}\in {\mathbb{R}}^{H\times W\times 1}$乘以可学习权重$w\in {\mathbb{R}}^{1\times 1\times C}$，以获得先前目标的位置信息嵌入。Box-embedding由目标大小给出，目标位置嵌入直接通过以下等式求和：
$$\text{Box-embedding}=w\cdot y_{pre}+\mathrm{MLP}(d_{pre})$$
然后我们依次与多个 LCA 模块重叠，以进一步处理目标的信息。在 LCA 的最后一层，我们只保留搜索特征到目标模板和前一个模板的注意力计算，然后将搜索特征图传递给分类头和回归头。

Head and Loss

头部网络包含两个分支：边界框回归头和分类头。回归图$ \mathbb{R}^{H×W×4} $和对应的预测图 ${\mathbb{R}}^{H\times W\times 1}$ 分别通过三层感知器从搜索特征图中获得。回归损失使用常见的广义IoU损失，我们使用变焦损失的分类损失，它使用目前最流行的IoU感知设计。IOU-Aware的核心思想是用分类的正标签值代替IOU得分，将分类的传统正样本值标注为1，改进将回归任务与分类任务联系起来。变焦损失公式如下：
$$\begin{array}{r}VFL(\mathrm{p},\mathrm{q})=\{\begin{array}{ll}-q(q\log (p)+(1-q)\log (1-p))& q>0\\ -\alpha p^{\gamma }\log (1-p)& q=0\end{array}\end{array}$$
$p$ 是分类预测，而 $q$ 是目标的 IoU 分数。我们的总损失函数如下：
$$\mathcal{L}={\lambda }_{\mathrm{cls}}{\mathcal{L}}_{\mathrm{cls}}(p,\mathrm{IoU}(\hat{b},b))+{\lambda }_{\mathrm{giu}}{\mathcal{L}}_{\mathrm{giu}}(\hat{b},b)$$
对于权重 ${\lambda }_{cls}$ 设置为 1.5，${\lambda }_{giou}$ 设置为 1.5。

Online Update Strategy

选择更新模板的一种常见方法是重新训练质量判断分支，但这种方法需要对模型进行两次训练。几乎所有的更新方法都将固定的超参数设置为阈值，并且仅当质量置信度高于此静态阈值时才更新。我们认为更新模板应该遵循两个原则：

1. 更新后的模板应在时间上尽可能接近当前帧，以确保更新后的模板具有与当前帧最相似的状态。
2. 更新的模板应尽可能高质量，具有良好的识别性和准确性。

对此，提出了一种具有简单分类置信度的动态阈值算法来选择理想的历史模板。

第一种算法使用分类置信度历史平均值作为阈值，如公式11所示：
$$mean=\sum _i^n{s}_i/n$$
$n$是当前帧序列号$n$，并且$s_i$是第$i$帧的分类置信度。作为阈值的平均值具有较低的更新标准，并且可以选择尽可能接近当前帧的历史模板。该方法在GOT-10k和TrackingNet数据集上表现出相对可靠的性能，但在长序列跟踪数据集Lasot上表现不佳。

我们分析了造成这种情况的原因：由于目标变形和人脸环境变化往往随着时间的增加而变得越来越复杂，模型在跟踪过程中不断积累错误，甚至在途中丢失后也会失去目标。这在GOT-10k和TrackingNet短序列数据集上并不明显，但像LaSOT这样的长序列基准更有可能遇到长时间的遮挡或目标消失，并且只使用较低的阈值将倾向于更新到错误的模板。

错误的更新将不断降低后续跟踪的分类置信度，使平均公式的阈值无效。因此，我们进一步提出了一种改进的计算方法，提出了一种带惩罚的阈值公式12。

带有惩罚的阈值公式的结果更多地依赖于先前的分类置信度分数，并且与平均公式相比，结果更稳定。保持较高的阈值可以使模型在遇到目标长时间消失和遮挡时抵制错误的模板更新。
$$\begin{gathered} p\text{-}mean=\sum ^n(\sum _i^m{s}_i/m)/n \\ =[(s_1+\frac{s_1}{2}+\dots \frac{s_1}{n})+(\frac{s_2}{2}+\dots \frac{s_2}{n})+\dots (\frac{s_n}{n})]/n \end{gathered}$$
带有惩罚的阈值公式的结果更依赖于先验分类置信度分数，与平均公式相比，结果更加稳定。