基于siamesefc的针对模板匹配问题以及在线更新策略的改进

切入点是：

因为总是利用模板的首帧作为匹配条件太过于机械，通常siamesfc网络是将目标搜索区域大小设置为目标的2至3倍，再利用余弦窗口掩盖补丁以减少边界效应，去除噪声，若背景混乱则检测范围小，在跟踪失败时容易发生。孪生网络进一步提升了判别能力。建议在线收集各种模板。单模板匹配限制了星罗网络的限制能力。故在线构建模板库，这样可以收集模板。
1、本文主要贡献如下：
自适应的模型更新策略，为防止跟踪飘逸
在线建立模板库。以增强所用星罗网络的可分辨性。
单一的模板匹配策略限制了其模板匹配的能力，故在这个孪生框架中建立一个多样化的模板库，用可靠的方式验证跟踪结果。
2、传统的基于CF的跟踪器实现了类似的策略，如LMCF。而在信道注意方面CSR-DCF 也做了工作。但是这都是基于CF跟踪器的条件下，是基于手工特征，以及混乱的模型更新，使他们无法在背景混乱方面准确的区分真实目标。而我们此时利用具有深度特征的 孪生网络来挑选真正的目标。
主要是可以有效的区分背景信息，用以解决背景和目标的区分。
3、首先介绍模板库的构建，再介绍自适应的模板更新和多模式的验证策略。

关于尺度估计采用尺度滤波器，

为获得更高的定位精度以及计算效率，一般是两种方法 首先是相关分数的子网格的插值，和使用主成分分析的来降低特征维度。
关于孪生网络最主要的是计算模板图像和候选图像的相似度。通过高低分确定是否是相同图像。
单模板模式是指利用第一帧的给出的真实目标图像作为唯一的模板，模板库的模式是本文构建信息。并且该库中有m个模板，表示为。根据是否使用模板库策略，暹罗网络有两种不同的方式来实现自适应模型更新和多模式检测策略，即单模板模式和模板库模式。单模板模式是指使用第一帧中给出的真实目标图像z作为唯一模板

3.2.1自适应模板更新
单模板模式，先利用星罗网络评估每个帧的结果并根据评估得分得出跟踪结果为目标的可能性。将最终跟踪结果与模板匹配的 会有一个分数，当分数大于阈值，即模板更新。
模板库模式：在这种情况下，由于库中有多个模板，我们可以获得多个暹罗语的评估分数。可以采用许多方法来获得跟踪结果的最终评估得分，例如计算最大值，中位数或平均值。在本文中，我们计算了多个评估得分的平均值。
有限的目标搜索区域抑制了真实的目标响应。我们建议重新考虑获得局部最高分的潜在职位。首先，我们在这些潜在位置上裁剪图像，然后通过暹罗网络对其进行验证，以挑选出真正的目标。
利用学习的滤波器得到响应图，候选模板以及响应分数值库和vote结果最大分数值被认为是候选图像。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7cf3rF4N-1569545340969)(https://ars.els-cdn.com/content/image/1-s2.0-S0925231219307167-gr3.jpg)]
自适应更新策略滤波器cf不会过度的拟合背景信息。建议找到具有较高值的​​局部最大位置。 一个简单的想法是将所有本地最大分数与阈值进行比较以确定候选者。由于跟踪算法需要在不同的视频上运行，并且这些视频中不同目标的响应图值可能不一致，因此为所有视频设置绝对阈值的方法没有意义。在本文中，我们选择不依赖于特定视频目标的相对阈值。具体来说，我们首先根据等式实施检测。（4）获得响应图y。然后我们在Matlab中使用内置函数1查找在y中获得局部最大分数的位置，并将这些对应的峰值表示为，其中的最大值 作为s max。当s i与s max的比率大于阈值1 / θ时，图像区域以那些峰值为中心的（由图3（c）中的彩色矩形表示）被认为是待验证的候选者。在此，k表示候选数。
单模板模式是在候选者之后利用星罗网络进行验证，得分最高的为候选目标。
模板库是在该库中包含m个模板，给定k个候选 ，利用模板来验证他么，从而得到得分矩阵，对于每个模板，我们获得一个k维（此处）列向量。然后，我们对在此列向量中获得最高分值的候选人进行投票
最后，得票最多的候选人将表示为 及其验证分数max(f (zi x)) 表示为f。如果几位候选人获得相同的选票，我们选择 获得更高的验证分数 作为输出。但是，如果验证分数过小甚至为负（例如，小于阈值τ MUL），我们不接受作为跟踪结果。我们选择在响应图中获得最大得分的图像区域作为跟踪结果，即保持基线CF跟踪器的预测结果。
4，。在线模板库建设
由于单个模板无法全面描述目标的外观，因此我们建议在线构建多样化的模板库。一个有效的模板库应满足以下两个条件：1）库中的所有模板均描述了目标；2）模板多种多样，以反映目标的不同观点。有两个标准分别保证模板库的质量和多样性。相应地，我们遵循两个准则在线构建模板库。
5，关于准则1：假设当前库中有m个模板。鉴于跟踪结果X t帧牛逼，我们通过使用连体网络中的所有模板进行评估。然后我们计算平均值这些暹罗分数。
如果ct大于阈值。则将被添加到模板库，当其与多模板描述对象相同时，才会产生传入模板。准则2如果仅将这些类似的跟踪结果添加到模板库中，则库的大小将快速增长，但库的多样性不会得到改善，因此，我们提出了一种模板融合策略来解决这个问题。
算法1。在时间步t处，使用暹罗网络算法的相关滤波器跟踪器。

输入：图像I t，先前的跟踪结果，以前的跟踪器 ，以前的模板库 。
输出：估计的跟踪结果x t，更新的跟踪器H t，更新的模板库。
自适应模型更新（第3.2.1节）
1：计算平均分 的 使用等式 （5）。
2：如果 ，更新ħ 吨与使用等式 （3）。否则让。
多峰验证（第3.2.2节）
候选人生成：
3：使用公式计算响应图y t与I t和H t。（4）。
4：找出具有本地最高分数的位置 在ÿ 吨，并且图像区域X 最大值与最大值小号最大值在ý 吨。
5：计算 ，我们就可以找到候选人 如果r i  > 1 / θ。什么时候，输出x max作为跟踪结果x t，然后转到步骤10。
跟踪结果生成：
7：使用模板验证候选人 ，得到得分矩阵，如等式所示。（6）。
8：对候选人进行投票，如图3（d）所示，然后选择投票最多的候选人作为，及其验证分数 表示为 。
9：如果 ，输出 作为跟踪结果x t。否则输出x max作为x t。
在线模板库的构建（第3.3节）
10：计算平均分 的x t使用等式。（5）。
11：如果 ，使用等式将x t添加到库中。（7）；否则什么也不做，处理下一帧。
多模板库的方法利于模型的更新又有利于多模板的验证，
注：对所有视频设置绝对阈值的方法没有任何意义，故要选择不依赖于特定视频目标的相对阈值。
利用m模板验证， 主要得到的得分矩阵，选择在相应图中最大得分的图像作为跟踪结果

ps

关于在线模板库的建设
单个模板无法描述外观，故建立在线构建多样化的模板库 ， 有效的模板库应该是所有的模板均描述了目标，模板多种多样以反映目标的不同观点，上述两个标准分别保证模板库的质量和多样性，