Graph Attention Tracking

1.摘要：

       基于孪生网络的跟踪器将视觉跟踪任务描述为一个相似度匹配问题。几乎所有流行的Siamese跟踪器都是通过目标分支和搜索分支之间的卷积特征互相关来实现相似度学习的。但是，由于需要预先确定目标特征区域的大小，这些互相关基方法要么保留了大量不利的背景信息，要么丢失了大量的前景信息。此外，目标与搜索区域的全局匹配也在很大程度上忽略了目标结构和部分级信息（structure and part-level information）。

        针对上述问题，本文提出了一种简单的目标感知Siamese图注意网络，用于一般目标跟踪。提出用完全二部图（ complete bipartite graph）建立目标与搜索区域的部分-部分对应关系，并利用图注意机制将目标信息从模板特征传播到搜索特征。此外，我们研究了一种目标感知区域选择机制，以适应不同对象的大小和宽高比变化，而不是使用预先固定的区域裁剪来进行模板特征区域选择。在包括GOT-10k、UAV123、OTB-100和LaSOT在内的具有挑战性的基准上进行的实验表明，提出的SiamGAT优于许多先进的跟踪器，实现了领先的性能。代码可在:https: // git。io / SiamGAT。

2.问题的提出

（1）提出问题：

        如何嵌入两个分支的信息来获取响应图是一个关键问题，因为从模板传递到搜索区域的信息对对象的精确定位至关重要。

（2）目前基于互相关方法存在的问题：

      1）卷积核的大小是预先处理过的，一般常见的方法是在模板特征图上中心裁剪出mxm的区域，生成目标特征，作为卷积核。然而，在解决不同目标尺度或不同高宽比的跟踪任务时，这个预先固定的特征区域可能会存在保留大量背景信息或丢失大量前景信息的问题，从而导致信息嵌入不准确。   

       2)将目标特征作为一个整体进行与搜索区域的相似度计算。然而，在目标跟踪过程中往往会产生较大的旋转、位姿变化和严重的遮挡，对可变目标进行全局匹配不具有鲁棒性。
       3)由于2)，模板与搜索区域之间的信息嵌入是一个全局的信息传播过程，模板向搜索区域传递的信息是有限的，信息压缩过多。我们的主要观察如下:1)信息嵌入应该是有目标意识的，即在跟踪过程中自适应目标的大小和长宽比变化。2)信息嵌入应该通过学习部件级关系（part-level relations？？？啥意思——信息嵌入应该用部分来匹配关系，而不是全局来匹配？）(而不是全局匹配)来实现，因为部件特征对形状和姿态变化具有不变性，因而具有更强的鲁棒性。

（3）提出的解决方法：

      为了解决上述问题，利用图注意力网络设计了一个part-to-part information embedding network用于目标跟踪。

3.本文的主要贡献：

（1）我们提出了一个图注意模块(GAM)来实现part-to-part之间的匹配，以实现信息嵌入。与传统的基于互相关的方法相比，该方法大大消除了它们的缺点，有效地将目标信息从模板传递到搜索区域。

（2）提出了一种目标感知的Siamese Graph Attention Tracking (SiamGA T)网络，该网络与GAM用于一般目标跟踪。该框架简单而有效。与之前使用预先固定的全局特征匹配的工作相比，该模型能够适应不同对象的大小和长宽比变化。