Fast Online Object Tracking and Segmentation: A Unifying Approach ---SiamMask

Abstract

在这篇论文中，我们用一个简单的方法演示了如何实时地执行视觉对象跟踪和半监督视频对象分割。我们的方法，被称为SiamMask，改进了当前流行的全卷积Siamese方法的离线训练过程，通过增加它们的损失和一个二值分割任务。一旦接受了训练，SiamMask就只依赖于一个初始化的边界框，并在网上操作，生成类无关的对象分割蒙版和旋转边界框，速度为每秒55帧。尽管其简单、多功能性和快速，我们的策略允许我们在2018年投票的实时跟踪器中建立一个新的技术状态，同时在DAVIS-2016和DAVIS-2017上展示竞争性能和半监督视频对象分割任务的最佳速度。

1. Introduction

在任何视频应用程序中，跟踪都是一项基本任务，需要对感兴趣的对象进行一定程度的推理，因为它允许在帧[34]之间建立对象通信。它被广泛应用于自动监控、车辆导航、视频标签、人机交互和活动识别等领域。给定目标在视频的第一帧中的位置，视觉目标跟踪的目的是用最佳精度[48]估计其在所有后续帧中的位置。
对于许多应用程序，重要的是跟踪可以在线执行，而视频是流式的。换句话说，跟踪器不应该利用未来的帧来推断对象[26]的当前位置。 这是可视化对象跟踪基准所描述的场景，它用简单的轴对称(如[56,52])或旋转[26,27]边界框表示目标对象。这样一个简单的注释有助于降低数据标记的成本;更重要的是，它允许用户快速而简单地初始化目标。
图1所示。该