CVPR 2017 ECO:《ECO: Efficient Convolution Operators for Tracking》论文笔记

  理解出错之处望不吝指正。

  以下内容部分摘自https://zhuanlan.zhihu.com/p/24971525，在这个链接里可以看到公式推导~

  本文模型叫做ECO，是对C-COT模型的改进，出发点是提高时间效率和空间效率。作者分析了模型速度慢的三个原因，也就是本文的动机：

  （1）.模型大小。可以理解为特征的复杂度。比如说C-COT用了CNN+HOG+CN这样非常全面的特征组合，它每次更新模型的时候，需要更新的参数有800000个，速度当然很慢，而且易引起过拟合；

  （2）.训练集大小。这里所指的训练集是指保存了每一帧的跟踪结果的训练集，也就是说，每一次进行model update的时候，要用在这一帧之前所有跟踪到的样本。那么随着视频越来越长，这个训练集就会越来越大。那么一般的解决方案是保存比较新的样本，丢弃老的样本，具体策略每个方法都不一样。这样一来，模型还是容易过拟合。因为当目标被遮挡或者丢失的时候，比较新的这些样本本身就是错的，那么模型很容易有model drift，就是被背景或者错误的目标污染，导致跟踪结果出错。另外，样本集的保存也会使得空间效率低下，增加计算负担；

  （3）.模型更新。模型如果每帧都更新，速度肯定比间歇更新要慢。另外每帧都更新也会带来model drift问题。

   针对上述三个问题，作者分别采取了不同的应对策略。

  （1）.模型大小 - A Factorized Convolution Operator

  ECO在特征提取上做了简化，用了原来特征的子集，从D维的特征中选了其中的C维。

  C-COT是每个维度的特征对应一个滤波器，D维的特征就有D个滤波器，其实很多滤波器的贡献很小。C-COT的大部分滤波器的能量很小，而ECO只选择其中贡献较多的C个滤波器，C<D，然后每一维特征用这C个滤波器的线性组合来表示。

  如何对特征进行组合？作者这里使用一个的矩阵来表示线性组合的系数，这个矩阵是通过学习得到的。

  （2）.训练集大小 - A Compact Generative Model

  图中下面一行是传统的训练集，每更新一帧就加一个进来，那么连续的数帧后训练集里面的样本都是高度相似的，即容易对最近的数帧样本过拟合。

  上面一行是ECO的做法，ECO用了高斯混合模型(GMM)来生成不同的component，每一个component基本就对应一组比较相似的样本，不同的component之间有较大的差异性。随着时间推移，计算和存储样本之间的差异，差异小的将替换掉，保证存储的样本的多样性。

  （3）.模型更新 - A Conservative Model Update Strategy

  ECO这里的做法很简单，就是简单地规定每隔帧更新一次。注意这里的只是对模型的更新，样本的更新是每一帧都要做的。最后的实验中，设置为6。

  模型更新频率降低，节约了时间，并且可以避免模型的漂移问题，一定程度上可以改进效果，但是也不可以把取得太大，否则会使得模型跟不上目标的变化。