Learning Dynamic Siamese Network for Visual Object Tracking 阅读笔记

前言

预读文章：Fully-Convolutional Siamese Networks for Object Tracking (SiameseTracker)。
在深度学习做目标跟踪效果好的算法中，这篇文章算是有点难度的了~~~啃了一上午算是啃明白了点~
本博客将采用一边半翻译一边详细解说并抒发自己看法的方式介绍这篇文章。

摘要

1，第一句话就指出本文算法的特点：学习目标的外观变化，排除背景的干扰，可以实时的跟踪方法。
在后续介绍中会发现，本文的三个贡献恰恰对应本文摘要第一句话中作者所提出的上述三点。
2，咦？要达到上述要求，SiameseTracker是一个不错的基础框架。
作者指出，之所以SiameseTracker在性能上与当前最好的算法有很大差距，主要是因为他不更新啊~~~
因此，本文的出发点，也就是Motivation就来了，所以本文是一个在SiameseTracker上添加更新手段的文章。
3，本文提出了适合于目标跟踪问题的动态Siamese网络，通过fast transformation learning model（后面会介绍这是什么玩意，其实就是一个优化问题而已）技术去学习目标的变化和背景的抑制（划重点！学习背景抑制，很少听到吧~）。
4，本文的算法可以在视频序列上进行训练~（这个特点不错，但是想想就好麻烦的样子）。
5，实验在OTB2013上和VOT2015上进行（呵呵~没在OTB2015上做实验，是个内行都能猜到为啥~）。

介绍

1，先看文章中的一张图，解读一下：

这个图有什么好说的呢？不就是和其他算法对比一下在OTB2013上的性能吗？我认为看点在于R-MDNet，作者真是煞费苦心啊，为了说明MDNet在ILSVRC上训练后效果不好，作者亲自拿MDNet在ILSVRC上训练后在OTB2013上测试，结果相比原文下降了9个点，我还能说什么呢？你这让我这个解说很被动啊！我们知道，在带有玄学色彩的机器学习问题中，调参数很重要啊~作者就简单的给MDNet换个训练集，然后测试，一套完美无障碍的操作，试问：您精心调整MDNet的参数了吗？换了个数据集不需要换超参数吗？从我个人观点来说，我从来都反对那别人的算法代码随便改改就在自己文章中报告别人改动后的效果，这简直是太厉（无）害（耻）了~你自己的算法煞费苦心调参数，别人的你就随便弄弄，然后你说你比别人效果好？？？Interesting…

2，作者指出现在的深度学习解决目标跟踪有两种思路：
(1)、基于经典更新的思想在线更新网络，但是大多数这类算法的速度都很慢，大概在1~2fps；（这个很讲道理，我感觉其实MDNet的速度可能还不到1fps，四舍五入后1fps还差不多）
(2)、基于匹配的跟踪方法，也就是SiameseTracker和GOTURN系列，这类方法不需要在线更新，所以特点是速度快，但是跟踪问题就目前来看，不更新是不可能获得很高的性能的，因为你不能捕捉到目标和背景的变化嘛~（举个最简单的例子，就算是一个人跟踪我，我一开始穿了一身乞丐装，带个墨镜，配个杀马特发型，然后蒙上他的眼睛，我变成了葛优穿西装的形象，他肯定不认识我，但是他要是观看了我更换造型的过程，那他就能跟踪我了，这说明更新很重要）；

3，本文作者，针对基于匹配的跟踪方法提出了有效的在线更新方法（确实6666666666），也就是本文的动态Siamese网络，网络的更新有两个目的：在线学习目标的变化和背景的抑制，更加666的是，为了让更新不过于影响跟踪器的速度，本文所提出的更新方式可以被FFT加速（FFT加速有多厉害，见过KCF的都知道），所以呢？本文就是效果好，速度快喽。

相关工作

1，这里简单复习一下SiameseTracker吧。
SiameseTracker核心公式：$S^{t}_l=\text{corr}\left ( f_{l}\left (O_1 \right ), f_{l}\left (Z_t \right )\right )$，其中$O_1$是是第一帧的目标，$Z_t$为第t帧的搜索域，$f_{l}\left (O_1 \right )$和$f_{l}\left (Z_t \right )$分别代表提取目标和搜索域的特征， corrfl(∗