[VOT15](2021CVPR)Alpha-Refine: Boosting Tracking Performance by Precise Bounding Box Estimation

先贴一张整体流程图：（Alpha-Refine即插即用，无需再训练）

Abstract

提出问题：许多跟踪器采用多阶段策略来提升边界框估计，其先粗略地估计目标位置然后在接下来的阶段精调初始的预测结果。但这些方法精度有效，且多阶段耦合限制了该方法的迁移性。

本文方法：提出Alpha-Refine(AR)，显著提升基追踪器的性能。通过一系列实验，本文发现提升精调性能的关键时尽可能地提取和维持细节空间信息。据此，AR采用了一个逐像素相关操作+一个corner预测头+一个辅助掩码头。

实验结果：在TrackingNet, LaSot, GOT-10k, VOT2020数据集上和多个基追踪器结合，展示出了AR卓越的性能提升能力。其和SiamRPN结合：ARSiamRPN，和DiMP50结合：ARDiMP50，和DiMPsuper结合：ARDiMPsuper都以试试速度实现了竞争性的结果，

1. Introduction

box estimation的方法回顾：精确的框估计是成功的追踪器必不可少的环节。

• 早期的跟踪器采用了多尺度搜索，samplig-then-regression策略，其结果不精确限制了跟踪性能的发展，
• 现在的跟踪器采用多阶段跟踪策略，其引用了额外的跟踪阶段用于更精确的框估，先粗糙定位目标再精调结果。但是其性能仍然还有待提升。另外，许多精调方法和跟踪器中的其他成分往往是耦合的，难以独立提取。

本文方法：本文提出AR，独立训练，可以以即插即用的方式直接用于任何现存的跟踪器，不需要额外的训练或修改。在实施过程中，本文采取了多个特征混合模块和预测头，并探索了一个辅助掩码头（鼓励网络提取更细节的空间信息，获取更精确的框），将逐像素监督引入训练过程中。最后，采用了一个逐像素相关操作和a key-point style prediction head用于更好的维持和使用细节的空间细节。

实验结果：如图所示，将6个基跟踪器的性能都有不同程度的提升。

 

2. Related Works

Early box estimation	1. multiple-scale search:大部分相关滤波算法+SiamFC。由于其固定的纵横比预测和繁重的图像金字塔操作，粗糙且耗时。 2. sampling-then-regression:SINT, MDNet, RT-MDNet
Modern Box Estimation	1. RPN-based: SiameseRPN系列算法 2. Mask-based：SiamMask, D3S 3. IoU-based: ATOM, DiMP 4. Anchor-free based(包含corner-based): SiamFC++, CGACD
Refinement Modules	a light-weight relation network, stacked RPNs, IoU-Net, SiamMask

3. Alpha-Refine

其整体流程和相关解释如下图所示：

其中，特征混合部分的逐像素相关操作具体解释如下:

 其中，预测头部分具体解释如下:

 3.4 Training

训练集构建：训练集LaSOT, GOT-10k, ImageNet VID, ImageNet DET, COCO, Youtube-VOS和一些分割数据集。（详细见论文）

训练方法：总损失和预测框和掩码的加权损失。设备：8个Nvidia 2080Ti GPU with a batch size of 32 per GPU (32x8 samples per iteration in total)

 4. Experiments

 基跟踪器: ECO, RT-MDNet, ATOM, SiamRPNpp, DiMP50, and DiMPsuper

测试集：LaSOT, TrackingNet, GOT-10K, and VOT2020

AR的backbone: ResNet-34

4.1. Representative Visual Results

 4.2. Evaluation on LaSOT

 

 

4.3. Ablation Studies

1. Head Options

2. Feature Fusion Options

3. Comparison with Different Refinement Modules

4. Different Backbones

 4.4. Evaluation on Other Benchmarks

 1. TrackingNet

2. GOT-10k

3. VOT2020