基于孪生网络的目标跟踪

一、目标跟踪

目标跟踪是计算机视觉领域研究的一个热点问题，其利用视频或图像序列的上下文信息，对目标的外观和运动信息进行建模，从而对目标运动状态进行预测并标定目标的位置。具体而言，视觉目标（单目标）跟踪任务就是在给定某视频序列初始帧的目标大小与位置的情况下，预测后续帧中该目标的大小与位置。

目标跟踪算法从构建模型的角度可以分为生成式(generative)模型和判别式(discrimination)模型两类；从跟踪目标数量可分为单目标跟踪和多目标跟踪。目标跟踪融合了图像处理、机器学习、最优化等多个领域的理论和算法，是完成更高层级的图像理解( 如目标行为识别) 任务的前提和基础。

二、孪生网络

孪生神经网络是一种包含两个或多个相同子结构的神经网络架构，各子网络共享权重。孪生神经网络的目标是通过多层卷积获取特征图后，比较两个对象的相似程度，在人脸认证、手写字体识别等任务中常被使用。其网络结构如下图所示，两个输入分别进入两个神经网络，将输入映射到新的空间，形成输入在新空间中的表示，通过损失的计算，评价两个输入的相似度。

此外,该网络的特点是可以充分利用有限的数据进行训练，这一点对目标跟踪来说至关重要，因为在跟踪时能够提供的训练数据与目标检测相比较少。

若子网络之间不共享权重，则称为伪孪生神经网络。对于伪孪生神经网络，其子网络的结构可以相同，也可不同。与孪生神经网络不同，伪孪生神经网络适用于处理两个输入有一定差别的情况，如验证标题与正文内容是否一致、文字描述与图片内容是否相符等。要根据具体应用进行网络结构的选择。

四、基于孪生网络的目标跟踪、

SiamFC

论文：Fully-Convolutional Siamese Networks for Object Tracking（ECCV 2016）
链接：https://link.springer.com/chapter/10.1007/978-3-319-48881-3_56
方法：
将目标的跟踪方式从在线执行随机梯度下降以适应网络的权重进行跟踪转变为前后帧目标对的形式进行匹配。通过同一网络AlexNet作为backbone，输出模板图像和待查询图像的特征图，并进行互卷积（相关滤波）操作，得到目标响应结果，反向映射到原图，计算当前帧目标位置。

SiamFC-tri

论文：Triplet Loss in Siamese Network for Object Tracking（ECCV 2018）
链接：https://openaccess.thecvf.com/content_ECCV_2018/html/Xingping_Dong_Triplet_Loss_with_ECCV_2018_paper.html

方法：提出了一种新的训练策略，通过训练时在Siamese Network中加入triplet loss提取出目标跟踪的深度表达特征。图中φ \varphiφ表示特征提取网络，当$\phi ={\phi }^{\prime }$时，遵循SiamFC范式，当$\phi$