【DAT NIPS2018】目标跟踪阅读笔记

Deep Attentive Tracking via Reciprocative Learning 论文地址 代码

写在前面

这篇论文其实从名字中也可以看出来，又是一篇引入attention的目标跟踪文章，但这篇文章跟以往的把attention map直接乘到指定层数据中的不一样，他是把attention map作为损失函数的一个正则化项，通过影响损失函数来优化网络。整个网络是基于MDNet的，就是修改了损失函数，所以速度也很慢，也需要在线的fine-tune，大概1FPS。

Motivation

注意力机制近几年陆陆续续被应用在目标跟踪里，目前的attention方法就是在潜在目标处设置大的权重，或者是使用channel attention的方法，这些方法对数据做了一些过滤，同时肯定会造成一些数据的损失。再者，只通过一帧学习到的attention不够具有区分度，而且一个小的特征权重可能就会导致分类错误。

Contribution

• 利用了一个循环学习的算法在通过检测跟踪的框架中发现attention；
• 将attention map作为损失函数的正则化项，这样可以得到鲁邦的特征；
• 很多对比实验表明这篇文章在很多benchmark上表现很好。

Algorithm

如上图，对于每个输入，需要提取一定个数的正样本和负样本。对于每个样本，通过前向传播得到分类score，然后通过反向传播得到attention map，然后使用这些map加入到损失函数中，当成正则化项，用来训练这个分类器。在测试阶段，不需要去生成attention map，直接通过网络来预测目标位置就可以了。

Attention Exploitation

由于神经网络从第一层到最后一层，通过不断的激活与各层的映射，每个输入的样本最后都会得到一个分类的向量，这个向量的每一个值代表该分类的score。我们其实不知道样本和最后这个值的关系，这里就用一阶泰勒展开来近似整个网络前向的过程：

$$f_c(I)\approx {A_c}^{T}I+B$$

这里一阶泰勒展开其实也就是把网络的前向传播过程近似为一次函数，其实${A_c}^T$就是这个函数的梯度。这里$A_c$是通过反向传播计算出来的，把网络第一层的梯度当成是$A_c$。值得注意的是，在这次梯度下降不改变网络参数，然后这个网络只取梯度为正的，所以整个$A_c$都是正数。这边不需要太纠结这个$A_c$的正负，因为在实际实现中$A_c$并没有乘到输入的proposal中，而是将正则化之后的$A_c$用在损失函数中，只用到了它的均值和方差，和$A_c$中具体某位置的值没关系了～

Attention Regularization

由于tracking-by-detection的网络是把输入分为前景和背景两类，所以对于一个样本，这篇文章会生成两个attention map，一个是positive的，一个是negative的。对于一个正样本，要尽量使得目标所在区域的attention值比较大，相应的，负样本中对应目标区域的attention值要比较小。下面是正负样本的正则化项，$y=1$ 表示正样本:
$$R_{(y=1)}=\frac{{\sigma }_{A_p}}{{\mu }_{A_p}}+\frac{{\mu }_{A_n}}{{\sigma }_{A_n}}$$
$y=0$ 表示负样本：
$$R_{(y=0)}=\frac{{\sigma }_{A_n}}{{\mu }_{A_n}}+\frac{{\mu }_{A_p}}{{\sigma }_{A_n}}$$

把他们加入到损失函数中：

$$L=L_{CE}+\lambda \cdot [y\cdot R_{(y=1)}+(1-y)\cdot R_{(y=1)}]$$
从以上的公式可以看出，通过不断减小损失函数，对于正样本，其实是增加了其TP减少了FN的值，对于负样本，增加了TN，减少了FP。也就是宁愿少检测出正样本，也要放弃一些错误率。通过这个机制，可以大大提高网络的精度。

Tracking Process

这篇文章的网络与MDNet一样，三个卷积层+三个全连接层，其中卷积层参数与VGG-M一样的，全连接层参数是随机初始化的，而且这个网络不需要线下的预训练。

1、模型初始化

在第一帧中，随机提取$N_1$个样本，把其中与目标框的IoU来确定其为正样本还是负样本。然后使用这个样本来训练网络，这边只更新全连接层参数。

2、在线检测

根据上一帧检测出来的位置来提取$N_2$个样本，然后将这些样本输入网络，对得分最高的样本进行bbox回归，得到最终的框。

3、模型更新

每帧提取出的$N_2$个样本，根据其与最终框的IoU分为正样本和负样本，每个T帧就用这些样本来更新网络全连接层参数。

Experiments

Conclusion

这篇文章最大的贡献与创新点就是提出将attention当成损失函数的正则项，并不影响网络中特征提取的过程。

优点：

• 引入注意力机制，并介绍了注意力机制一种新的用法，给后面的优化提供了很多可能性；
• 只是简单的加入了正则化项，就能将精度比MDNet提升这么多；
• 不需要offline的预训练。

缺点：

• 其实精度不是很高，精度比CCOT低一些，但是比ECO低挺多的，比18年CVPR和ECCV的论文精度还差，而且速度很慢；
• 还是需要在跟踪的时候做梯度下降来更新模型，速度很慢；
• 没有完善的理论解释为什么这么做管用，只是通过对比实验得到。

把代码扒下来跑了一下，精度一直上不去，还没有MDNet好，不知道是不是我的锅，不过我没动代码，如果不是代码的问题，那可能是我环境的问题吧