[论文阅读 2021 CVPR-oral 目标跟踪]Transformer Meets Tracker Exploiting Temporal Context for Robust Visual

简介

paper:Transformer Meets Tracker: Exploiting Temporal Context for Robust Visual Tracking

code:594422814/TransformerTrack

盼着盼着它来了！这篇论文将Transfomer引入了单目标跟踪任务中，且取得了很好的效果。这篇论文提供了一个基于Transfomer的中间模块，通过该中间模块可以显著提升提取的特征质量。

主要内容

不同于原始的Transfomrer，这篇论文将encoder和decoder两部分分开，其中encoder部分对backbone提取的Template Feature通过Attention进行特征加强。而Search Feature则经由decoder进行处理。

Transformer Encoder

输入到encoder的是一系列template feature,即$T=\left({\mathbf{T}}_1,\cdots ,{\mathbf{T}}_n\right)\in {\mathbb{R}}^{n\times C\times H\times W}$ ，为了便于计算作者将$T$转换为$T^{{}^{\prime }}\in {\mathbb{R}}^{N_T\times C}$,其中$N_T=n\times H\times W$

最终对于encoder部分可以表示为:

$${\mathbf{A}}_{\mathrm{T}\to \mathrm{T}}=\mathrm{Atten}\left(\phi \left({\mathbf{T}}^{\prime }\right),\phi \left({\mathbf{T}}^{\prime }\right)\right)\in {\mathbb{R}}^{N_T\times N_T}$$

$$\hat{\mathbf{T}}=\text{ Ins. }\mathrm{Norm}\left({\mathbf{A}}_{\mathrm{T}\to \mathrm{T}}{\mathbf{T}}^{\prime }+{\mathbf{T}}^{\prime }\right)$$

where ϕ(·) is a 1 × 1 linear transformation that reduces the embedding
channel from C to C/4.

通过self-attention,最终可以得到很高质量的template features.

Thanks to the self-attention, multiple temporally diverse template features aggregate each other to generate high quality $\hat{\mathbf{T}}$

Transformer Decoder

首先同encoder一样，decoder的第一部分也是采用一个Self-Attention的结构且与encoder部分的Self-Attention共享权重，这么做的目的是保证将Template Feature和Search Feature映射到同一特征空间中.

同encoder中的处理一样，对于Search feature,即$S\in {\mathbb{R}}^{C\times H\times W}$，同样reshape为${\mathbf{S}}^{\prime }\in {\mathbb{R}}^{N_S\times C}$,则第一个Self-Attention部分可以表示为:

$$\hat{\mathbf{S}}=\text{ Ins. }\mathrm{Norm}\left({\mathbf{A}}_{\mathbf{S}\to \mathbf{S}}{\mathbf{S}}^{\prime }+{\mathbf{S}}^{\prime }\right)$$

where ${\mathbf{A}}_{\mathbf{S}\to \mathbf{S}}=\mathrm{Atten}\left(\phi \left({\mathbf{S}}^{\prime }\right),\phi \left({\mathbf{S}}^{\prime }\right)\right)\in {\mathbb{R}}^{N_S\times N_S}$ is the self-attention matrix of the search feature.

之后论文将decoder划分为Feature Transformation和Mask Transformation.

Mask Transformation

对于Mask Transformation，按我的理解是学习上空间上的Attention.

其中Mask Transformation的对于输入K为encoder提取到的$\hat{\mathbf{T}}$，而对于Q则为上一层输出的$\hat{\mathbf{S}}$,输入V是一个Gaussian-shaped的mask,即$\mathbf{M}=\mathrm{Concat}\left({\mathbf{m}}_1,\cdots ,{\mathbf{m}}_n\right)\in {\mathbb{R}}^{n\times H\times W}$($m$通过Gaussian function得到，即$\mathbf{m}(y)=\exp \left(-\frac{\Vert y-c{\Vert }^2}{2{\sigma }^2}\right)$)，同样对$M$进行reshape后得到${\mathbf{M}}^{\prime }\in {\mathbb{R}}^{N_T\times 1}$.

最终Mask Transformation可以表示为:

$${\mathbf{A}}_{\mathrm{T}\to \mathrm{S}}=\mathrm{Atten}(\varphi (\hat{\mathbf{S}}),\varphi (\hat{\mathbf{T}}))\in {\mathbb{R}}^{N_S\times N_T}$$

$${\hat{\mathbf{S}}}_{\text{mask }}=\text{ Ins. }\mathrm{Norm}\left({\mathbf{A}}_{\mathrm{T}\to s}{\mathbf{M}}^{\prime }\otimes \hat{\mathbf{S}}\right)$$

where $\otimes$ is the broadcasting element-wise multiplication

Feature Transformation

对于Feature Transformation,按我的理解是通过Attention提升提取到的Search Feature.

同Mask Transformation基本一样，不同的是输入的V是经过与$M$经过element-wise multiplication的$\hat{\mathbf{T}}$,即$\hat{\mathbf{T}}\otimes {\mathbf{M}}^{\prime }$

所以Feature Transformation可以表示为:

$${\hat{\mathbf{S}}}_{\mathrm{f}\mathrm{e}\mathrm{a}\mathrm{t}}=\text{ Ins. }\mathrm{Norm}\left({\mathbf{A}}_{\mathrm{T}\to \mathrm{S}}\left(\hat{\mathbf{T}}\otimes {\mathbf{M}}^{\prime }\right)+\hat{\mathbf{S}}\right)$$

最终输出的Search Feature经由下式得到:

$${\hat{\mathbf{S}}}_{\text{final }}=\text{ Ins. Norm }\left({\hat{\mathbf{S}}}_{\text{feat }}+{\hat{\mathbf{S}}}_{\text{mask }}\right)$$

Tracking with Transformer-enhanced Features

这篇论文将上诉提到的Transfomer模块应用到了Siamese Pipeline和DCF pipeline两种跟踪器上，提出了TrSiam和TrDimp.

实验结果

小结

这篇论文将Transfomer引入了目标跟踪中，并取得了非常好的结果，可能也因为此获得了2021CVPR-oral.

虽然说这篇论文中引入的Transfomer取得了很好的结果，但还有以下几点不足:

1. 如论文Appending D中所说，这个模型仍然无法很好处理occlustion和out-of-view.
2. 如同其他使用Transfomer的模型一样，计算attention matrix需要消耗很大的计算内存,这也导致了这个模型在速度上有所下降.

总之，这篇论文还是很值得研究探讨的!