Multi attention module for visual tracking阅读

摘要

提出一种新颖的多层次的视觉注意力机制，充分的利用了跟踪的信息，大部分存在的注意力模型是仅仅关注于两个方面，而忽略了别的在视觉中的有用的信息，本文主要用了四个通道的的任务信息：时间关注，空间注意力，和双通道注意力机制。考虑到不同水平的深层次可能对不同情形是合适的。通过离线训练训练一个注意力网络结构。为了更好的利用一些假设。用长短时网路，包含了历史的上下文信息，背景的干扰也很重要，因此对空间和背景信息进行净化。抑制了噪声，突出了目标区域。我们还在目标候选对象之间实施深度特性共享。允许一个候选者的区域在唯一的后向DNN，为了提升精度，减少跟踪的飘移。
1、
DNN是更深层的神经网络，表明了出色的性能，在低层次的。尽管这些方法是决定了哪层是当前帧的最优代表。另外解决的问题是存在的DNN 跟踪器忽略了时间相关性~视频数据表明了强列的时间统一性，这些表现和运动信息可能就下帧精度的改变，大部分存在的DNN跟踪方法，在线跟踪是存在限制的。关于语义分割一部分是用来决定目标的位置，而 别的一切可能存在噪音和信息冗余~导致了跟踪飘移，其中合适的选择又能抑制背景信息又能突出目标，实现的另一种方法是将空间注意力添加到特征上，这些特征包含在帧间关系中。可以根据当前帧目标位置得到空间权重。应当利用当前帧位置的精度提高位置的精度。本文主要有以下贡献，首先是利用多任务视觉注意力信息，包括了时间空间 双通道和双层注意力在统一的框架中，可以有效的提高跟踪的表现。二，提出了一种新颖的利用注意图过滤候选目标的技术。与ROI池一起，我们使得基于DNN的跟踪检测在计算上更加可行。三，开发了一种利用先进目标检测的最小计算来提升跟踪器的性能。本文的方法产生了优越的性能。
2，基于DNN的方法，深度跟踪器提升了一定的性能，无监督观测模型在线区分背景和目标，本文提出了利用多层注意网络在监督机制下特征选择。其中chen 提出了一种在多尺度特征下的软权重的注意力机制，本文与之前的只关注一两种方法不同，结合了时间空间双通道双层结合起来，从各个方面完整的实现了跟踪。
本文大体结构：新的帧到来时，将图片添加进特征提取的网络，在第四层和五层是裁剪的区域，并且发送到注意力网络，再输出一个注意得分图，最后的结果由跟踪和检测算法定。利用得分图找到最合适的网络，选择特定的目标定位。
该算法由四个部分组成:特征提取网络、时间、空间、信道和分层注意相结合的多注意网络、目标定位跟踪模块和合并模块。将注意力网络作为输入输出。正方形的搜索区域是目标的长度和宽度。