RASNet阅读笔记：Learning Attentions: Residual Attentional Siamese Network for High Performance Online Vis

CVPR2018 论文在此
文章全称：Learning Attentions: Residual Attentional Siamese Network for High Performance Online Visual Tracking
论文作者在知乎也进行了详细的介绍：https://zhuanlan.zhihu.com/p/34222060

• RASNet使用三个attention机制对SiamFC特征的空间和channel进行加权，分解特征提取和判别性分析的耦合，用来提升判别能力。

##摘要
最近目标跟踪中通过离线训练的方式来平衡跟踪的精度和速度，显示出了巨大的潜力。然而在在线跟踪中，离线训练出的模型很难适应不同的跟踪目标。作者提出了残差注意力孪生网络（Residual Attentional Siamese Network），简称RASNet，用来高性能的目标跟踪。这个网络模型在孪生网络的框架下重新建立相关滤波器，并且引入了几种不同的注意力机制来适应模型，而不是通过模型的在线更新。也就是说，通过利用离线训练好的general attention,residual attention和channel attention这三个注意力模型，RASNet不仅能够减小深度网络训练中的过拟合问题，还能够提高网络的判别能力和自适应力。作者提出的网络可以端到端训练，充分利用了跟踪序列丰富的时空信息来获得鲁棒的视觉跟踪。作者在最新的两个评价基准上进行实验，OTB2015和VOT2017，表明了RASNet跟踪器有着优越的精度，并且速度超过了80fps。

作者基于SiameseFC结构，提出了新的网络结构如下：

最终响应，也就是weighted cross correlation function，如下：
$$f_{p^{\prime },q^{\prime }}=\sum _{i=0}^{m-1}\sum _{j=0}^{n-1}\sum _{c=0}^{d-1}{\gamma }_{i,j,c}{\varphi }_{i,j,c}(z){\varphi }_{p^{\prime }+i,q^{\prime }+j,c}(x)+b$$

本文的关键就是这个${\gamma }_{i,j,c}$
$${\gamma }_{i,j,c}=({\bar{\rho }}_{i,j}+{\tilde{\rho }}_{i,j}){\beta }_c$$

${\bar{\rho }}_{i,j}$是general attention，通过学习生成一个类似于高斯框的东东，表征目标的空间信息，一幅图像不同位置的所表达的重要性不同：

$\tilde{\rho}{i,j} $是residualattention，沙漏结构，与$\bar{\rho }{i,j}$合称dual attention，residual attention表征目标的语义信息，增加了判别性。

${\beta }_c$是channel attention，通过池化、MLP，最后sigmoid输出通道权重。不同通道的重要性也不一样，表征的是目标的通道信息。

其实channel attention和general attention所用的方法在跟踪中都很常见，本文的亮点在于作者加入的这个residual attention