目标跟踪之Fully-Convolutional Siamese Networks for Object Tracking论文笔记

论文链接：https://arxiv.org/abs/1606.09549

源码：https://github.com/bertinetto/siamese-fc

本文属于将孪生网络和深度学习结合用于目标跟踪领域的开山之作。深度学习虽然逐渐占据图像各领域，但在目标跟踪领域由于单纯基于深度学习的方法计算量巨大，时效性不佳，Siamese类的论文逐渐在该领域处于重要地位。近几年陆陆续续出现众多相关论文，而本论文是该系列论文的基础。

摘要：

论文采用全卷积孪生网络结构，可归结为一个相似性度量的问题，通过相关滤波（模板匹配）的方式计算出模板图片和待检测图片各个位置之间的相似度，相似度最高的点即为目标。

1、网络结构：

网络结构如下图，z为模板图像（第一帧图像），x为待搜索图像（待跟踪区域的候选框搜索区域）。ϕ表示特征提取（CNN），分别将模板图像和待搜索图像通过相同的特征提取函数。*表示卷积操作（相关滤波）得到最后的相似度矩阵score map，表示待搜索区域中各位置与模板图像的相似程度。

该网络简单有效，性能好且速度极快。

2、损失函数

使用判别式损失函数，对搜索区域的位置进行正负样本区分，在目标范围内的点作为正样本，该范围外的点为负样本，如图中所示，红色点为正样本，蓝色点为负样本。采用logistic loss计算最终的损失，具体的损失函数形式如下图

3、部分细节

3、1待搜索图的框是如何选择的？

待搜索图以目标区域为中心，扩大模板图像的尺寸为搜索区域的尺寸，选择多个尺度作为放大倍数，比如扩大1.5、2倍，再通过滑窗得到多个框

框的选择有问题，单纯利用多尺度和回归算法计算最终的框，对于移动速度快的目标跟踪效果不佳。此处可进行改进

3、2对于超越边界的截取采用padding扩充的方式处理

 4、实验分析

通过运行程序，发现以下问题：

1、对移动速度较快，形变程度较大的物体跟踪效果不佳；
2、对相似物干扰、遮挡、超出画面、背景复杂的实例跟踪效果不佳，容易出现跟丢或跟错对象的情况；