轻量化目标跟踪

引言

近些年的目标跟踪算法都在往做大做强的方向发展，比如更深的网络和更复杂的模块。尽管性能越刷越高，但是却很少考虑效率问题，以至于几乎无法在边缘设备上实时运行部署，实用性较低，因此研究轻量化的目标跟踪算法是非常必要的（另外一个原因也可能是做大做强上能水论文的点越来越不好找了 / 狗头保命）。本篇博客总结了三篇最近研究跟踪模型轻量化的工作。

• LightTrack: Finding Lightweight Neural Networks for Object Tracking via One-Shot Architecture Search
• Efficient Visual Tracking with Exemplar Transformers
• FEAR: Fast, Efficient, Accurate and Robust Visual Tracker

LightTrack

详细解读：【极市直播】严彬：CVPR 2021-LightTrack：基于网络结构搜索的超轻量级跟踪模型设计

LightTrack 使用神经架构搜索（NAS）来设计更轻量级和高效的目标追踪器。实验表明，LightTrack 与手工设计的 SOTA 跟踪器（如 SiamRPN++ 和 Ocean）相比，可以实现更优越的性能，而需要的计算量和参数要少得多。此外，当部署在资源受限的移动芯片上时，也能以更快的速度运行。

LightTrack 采用 one-shot NAS 的方法搜索结构，流程如图 2 所示。整个过程训练与搜索是解耦的，首先训练超网（随机采样路径进行训练），然后用进化算法从超网中寻找最优子结构。

最后搜索到的 LightTrack-Mobile 结构如图 3 所示，具有如下特点：

1. backbone 中有将近一半使用 7×7 的卷积核大小，可能是因为这样能在较浅的 backbone 中尽量提升感受野；
2. 搜索架构选择了倒数第二个 block 作为特征输出，可能是因为跟踪网络并不倾向太高级的语义特征；
3. 分类分支需要的网络层数比回归分支