LightTrack: Finding Lightweight Neural Networks for Object Tracking via One-Shot Architecture Search

Abstract

目标跟踪在过去几年中取得了重大进展。然而，最先进的跟踪器变得越来越复杂和昂贵，这限制了它们在资源受限的应用程序中的部署。 在这项工作中，我们提出了LightTrack，它使用神经结构搜索(NAS)来设计更轻量和高效的对象跟踪器。综合实验表明，该方法是有效的。它可以找到性能优于手工制作的SOTA跟踪器，如siamrpn++[30]和Ocean[56]，同时使用更少的模型Flops和参数。此外，当部署在资源受限的移动芯片组上时，所发现的追踪器运行速度要快得多。例如，在Snapdragon 845 Adreno GPU上，LightTrack的运行速度比Ocean快12倍，但参数少13倍，Flops少38倍。这些改进可能会缩小目标跟踪任务中学术模型和工业部署之间的差距。LightTrack在这里发布。

1. Introduction

目标跟踪是计算机视觉中最基本也是最具挑战性的任务之一。在过去几年中，由于深度神经网络的兴起，目标跟踪取得了显著的进展。但与此同时，追踪模型正变得越来越复杂和昂贵。例如,最新SiamRPN + +[30]和Ocean56]追踪器分别利用7.1 g和20.3 g的模型浮点数flops以及11.2m和25.9m的参数来实现先进性能,是更复杂的早期的SiamFC[5]的方法(使用2.7 g flops和2.3g 的参数),图1为可视化。如此庞大的模型尺寸和昂贵的计算成本阻碍了跟踪模型在工业的应用，如摄像无人机、工业机器人和驾驶辅助系统，在这些应用中模型的尺寸和效率都受到非常大的限制。

图1:与最先进的跟踪器在EAO性能、模型Flops和VOT-19基准上的参数的比较圆直径与模型参数大小成正比。我们提出的LightTrack是优于SiamFC [5]， SiamRPN [31]， SiamRPN++ [30]，
SiamFC++[52]和Ocean[56]，使用更少的Flops和参数。

有两种直接的方法来解决复杂性和效率问题。一种是模型压缩，另一种是紧凑的模型设计。现有的现成的压缩技术，如剪枝和轻量化可以降低模型的复杂性，同时它们不可避免地带来不可忽略的性能下降。另一方面，手工制作新的紧凑高效模型的工程成本昂贵，严重依赖人类的专业知识和经验[55,15]。

本文介绍了一种新的解决方案——利用神经结构搜索(NAS)自动设计轻量级模型，使搜索跟踪器能够在资源有限的硬件平台上高效地执行。这并不是一件容易的事情，因为目标跟踪器通常需要ImageNet的预