An Experimental Survey on Correlation Filter-based Tracking

An Experimental Survey on Correlation Filter-based Tracking

本文参考文章《An Experimental Survey on Correlation Filter-based Tracking》

这篇文章中，作者对近年来基于相关滤波方法的视觉跟踪的有关研究进行了总结。作者通过一个统一的框架，总结了11种方法，回顾了这些算法的贡献，图表1做出了总结。

一般来说，滤波器的训练机制对于基于相关滤波跟踪的算法来说是相当重要的。相关滤波器方法大致可以从以下几个方面改进：（1）更好的训练机制、（2）提取更好的特征、（3）减轻尺度变化带来的问题、（4）采用基于块的跟踪策略、（5）采用长期跟踪。

一、基于相关滤波的跟踪框架

根据已有的相关滤波算法，一般的工作框架可以总结如下（图1）：

（1）相关滤波器是根据从视频的第一帧中目标位置提取的图像块中训练、学习得到的；

（2）对于随后的每一帧，从上一帧目标位置的区域提取图像块用来检测；

（3）可以从原始的输入数据中提取大量特征，通常情况下，为了平滑结果，我们会加上一个cosine window；

（4）我们利用余弦傅里叶变换类替代卷积操作，会使计算效率大幅提升；

（5）通过傅里叶变换之后，我们会得到响应图谱，具有最大响应值的位置就是我们要预测的目标的位置；

（6）提取估计位置的目标的外观，用来训练和更新相关滤波器。

用数学语言表述如下：

我们让X表示输入，h表示相关滤波器。在实际任务中，X可以是原始的图像块，也可以是提取的特征。假设^表示的是一个向量的傅里叶变换。根据卷积定理，循环卷积等于频域的元素之间的乘积：

表示的是傅里叶变换的逆变换， 表示的是元素之间的乘积，*表示的一个矩阵的复共轭矩阵。

训练滤波器时，我们首先定义一个期望的相关输出y。然后用目标的实例和相关滤波器来满足如下式子：

解这个式子，我们可以得到：

通过转到频域计算，对于一个n*n大小的图像块，计算复杂度会由 下降到 。我们可以看到这个加速效果是非常的显著的。

二、相关滤波的训练机制

A、传统的训练方法

最简单的情况，从一个图像上截取一个模板，用它来对于目标产生顶峰。但是这种方法有时候对于背景也会产生一个很高的响应。为了解决这个问题，一些方法通过抑制负样本的响应，保留正样本的响应来训练。但是这种硬性的约束有时候并不能取得一个良好的效果。有一种叫做平均所有的滤波器（ASEF）的方法，通过平均所有训练得到的滤波器来得到一个一般的滤波器。尽管这种方法取得了不错的效果，但是他需要大规模的样本用来训练，这就制约了它的跟踪速度。

B、适应性的相关滤波

MOSSE（最小均方误差和输出）方法在ASEF的基础上做出了一些改进，提高了效率。

1）、MOSSE：根据上面公式（2）（3）我们可以很容易的计算出相关滤波器。因为这样得到的滤波器不够鲁棒，所以需要大量的训练样本，为了更好的将这些训练样本映射到他们期望的输出，MOSSE方法通过最小化这些样本的真实值与期望输出值的均方误差和，得到相关滤波器h。这个计算转化到频域，计算方式如下：

i表示的是每一个训练样本的索引。通过解这个式子可以得到：