视觉Transformer (一) Transformer Tracking

文章来源

paper: https://openaccess.thecvf.com/content/CVPR2021/html/Chen_Transformer_Tracking_CVPR_2021_paper.html
code:
https://github.com/chenxin-dlut/TransT

Motivation

之前的跟踪大部分都是采用correlation（互相关）融合方法计算模板和搜索帧之间的相似性，然而这种融合会丢失语义信息从而限于局部最优。
从而，作者提出了更好的融合方式，即源于Transformer的attentiion机制。

方法

作者设计的架构由3部分组成：backbone feature extractor, feature fusion, prediction head.
（一）backbone:
作者采用了resnet50作为backbone，但是在传统的resnet50上，去除了最后一个block5，将block4作为最后一个输出特征。此外，block4的下采样操作的卷积stride从原来的2变为了1。从而可以得到模板特征$f_z$和搜索特征$f_z$：
$$f_x\in H_x\ast H_x\ast 1024$$
fz∈Hz∗Hz∗1024f_z \in H_z*H_z*1024f