本文介绍了SiameseFC孪生网络在目标跟踪中的应用，包括其实时性、对小范围晃动和运动模糊的适应性。然而，SiameseFC在面对目标形变、光照差异、背景复杂和尺度变化时表现出不足，可能导致跟踪失败。为解决这些问题，提出了在线更新策略、首帧处理和利用空间信息等解决方案。
一、SiameseFC基本结构
孪生结构网络是卷积神经网络中的一种特殊结构。其结构如上图所示，它由两个结构相同的子网络构成，网络的输入是两张像，其中一张称为模板图像，通常选取的是序列第一帧，另外一张称为搜索图像，选取的是后续帧，每一个子网络负责处理一张图像，通过子网络的前向计算，可以提取图像的特征，最后将两者特征通过相似性度量函数，最终计算得到一个17×17×1的热力图，代表着搜索图像中各个位置与模板图像的相似度值。并根据以下函数计算相似度（卷积函数）：
其中z是模板图像，x是搜索图像， φ代表的是一种特征映射操作，将原始图像映射成特定的空间特征，这里采用的是卷积神经网络里的卷积层和池化层，f是相似性度量函数，这里代表的是卷积函数。模板图像虽然使用的是视频序列的第一帧，但是它是经过裁剪而来的，以待跟踪目标为中心，把原图像裁剪成127×127的尺寸。 也是经过裁剪而来的，它是以网络上一次输出的目标位置的中心点作为裁剪的中心，裁剪成固定的255×255的尺
最低0.47元/天 解锁文章
扫一扫
2277
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
