SiamRPN++论文阅读

前言
最近在研究这篇CVPR2019 oral的论文，对论文进行了详细的阅读，也参考了博客和知乎各路大神的介绍，现在将自己对这篇文章的理解写成博客，供各位tracker参考，如有问题，欢迎讨论，如有错误，敬请指出，如有补充，欢迎留言！不胜感激！

照例附论文链接
方法代码

孪生神经网络与目标跟踪
这一部分首先介绍一下孪生神经网络与目标跟踪的渊源，如果你已经对这个问题有了一定了解，可以跳过。
Siamese Network，译为孪生神经网络，或连体神经网络，指的是两个子体网络network1和network2通过权重共享实现连体，在实现上，只需要对两个子体建立一套模型，只是在训练和测试时输入不同。如图所示：

孪生神经网络用于目标跟踪问题，据我调查，是起源于2016年，具体的文章脉络整理如下：

其中，加粗的两篇论文（SiamFC和SiamRPN）是该篇论文的主要“祖先”，想要完全了解SiamRPN++，一定要阅读这两篇文章，尤其是SimaRPN，即第二篇文章，在SiamRPN++代码实现里，有相当一部分trick是继承自SiamRPN，其中就包括对神经网络训练至关重要的loss的定义。顺便说一句，SiamRPN和SIanRPN++是商汤科技的同一伙人的研究成果。再顺便说一句，cvpr2019有6篇Siamese类的跟踪算法。
说完了Siamese Network与目标跟踪问题的渊源，我们来说一下为什么Siamese可以用于目标跟踪？（个人理解）
孪生神经网络将视觉目标跟踪问题定义为：通过互相关操作建立目标模板特征与搜索区域特征之间的相似度图（这个定义来自于论文）。借助于下面这幅图，我们可以对上面这个定义进行进一步的解释。

上图截取自SiamFC，它显示了孪生神经网络类跟踪器的整体框架。其中φ表示神经网络，z代表模板图像，x代表搜索区域，经过φ之后，模板和搜索区域的特征被提取出来，即图中的两个长条，然后两组特征做互相关操作，图中用*表示，得到最右边的相似度图。
再来解释一下互相关操作。与互相关操作直接相关的是互相关函数，互相关函数是描述随机信号x(t)、y(t)在任意两个不同时刻s、t的取值之间的相关程度，其定义为

在跟踪问题上，可以对互相关操作进行这样的解释：两个随机信号就是模板图像和搜索区域，在任意两个不同的时刻对应模板图像与任意搜索区域上的位置做匹配，而相关程度正是最后得到的相似度图。
SiamRPN++提出的动机
SiamRPN++有两个动机：

• 已有Siames