商汤科技 & 中科院自动化所：视觉跟踪之端到端的光流相关滤波 | CVPR 2018

作者丨朱政

学校丨中科院自动化所博士生

单位丨商汤科技

研究方向丨视觉目标跟踪及其在机器人中的应用

本文主要介绍我们发表于 CVPR 2018 上的一篇文章：一种端到端的光流相关滤波跟踪算法。据我们所知，这是第一篇把 Flow 提取和 tracking 任务统一在一个网络里面的工作。

■ 论文 | End-to-end Flow Correlation Tracking with Spatial-temporal Attention

■ 链接 | https://www.paperweekly.site/papers/1825

■ 作者 | Zheng Zhu / Wei Wu / Wei Zou / Junjie Yan

论文动机

首先是 motivation，近两年 DCF+CNN 的 tracker 在 tracking 的社区里面一直是标配，但我们注意到几乎所有的 tracker 都只用到了 RGB 信息，很少有用到视频帧和帧之间丰富的运动信息，这就导致了 tracker 在目标遇到运动模糊或者部分遮挡的时候，performance 只能依靠离线 train 的 feature 的质量，鲁棒性很难保证。

于是我们就想利用视频中的运动信息（Flow）来补偿这些情况下 RGB 信息的不足，来提升 tracker 的 performance。

具体来说，我们首先利用历史帧和当前帧得到 Flow，利用 Flow 信息把历史帧 warp 到当前帧，然后将 warp 过来的帧和本来的当前帧进行融合，这样就得到了当前帧不同 view 的特征表示，然后在 Siamese 和 DCF 框架下进行 tracking。

▲ FlowTrack整体框架

上面是我们算法的整体框架，采用 Siamese 结构，分为 Historical Branch 和Current Branch。

在 Historical Branch 里面，进行 Flow 的 提取 和 warp，在融合阶段，我们设计了一种 Spatial-temporal Attention 的机制（在后面叙述）。

在 Current Branch，只提取 feature。Siamese 结构两支出来的 feature 送进 DCF layer，得到 response map。

总结来说，我们把 Flow 提取、warp 操作、特征提取和融合和 CF tracking 都做成了网络的 layer，端到端地训练它们。

技术细节

下面是一些技术细节，采用问答方式书写。