【目标跟踪】|FEAR轻量化跟踪框架

将开源

开发了一个单参数双模板模块，该模块允许在不增加模型复杂度的情况下动态学习对象外观的变化，缓解了最近提出的在线学习模块的内存瓶颈。该模块预测目标接近搜索图像中心的可能性，从而允许选择模板图像更新的候选对象。

• 第一个模板是静态的，它锚定了原始的视觉外观，从而防止了漂移，从而防止了适应引起的故障。
• 二是动态的；其状态反映了当前的采集条件和对象外观。

以可学习的方式将在线选择的动态模板图像特征图与原始静态模板图像的特征图插值。这允许模型在推理过程中捕捉对象外观的变化。

结构

由特征提取网络、像素级融合块和用于边界盒回归和分类的任务特定子网络组成。给定静态模板图像、搜索图像裁剪和动态模板图像Id，特征提取网络在这些输入上生成特征映射。
然后将模板特征表示作为静态和动态模板图像特征之间的线性插值进行计算。
然后，在像素级融合块中与搜索图像特征融合，并传递到分类和回归子网。

特征提取部分使用轻量的 FBNet

特征融合部分设计了像素级别的融合，如图 3 所示，这个和 PGNet，CGACD 等方法的操作是一样的。

表1和图5表明，由于预测头复杂，即使是轻型编码器也无法提高现代跟踪器的模型效率。因此，设计一个轻量级和精确的解码器仍然是一个挑战

像素融合块

互相关模块是结合模板和搜索图像特征的核心操作。
特征融合部分设计了像素级别的融合，如图 3 所示，这个和 PGNet，CGACD 等方法的操作是一样的。
我们引入了像素级融合块，以增强通过像素级相关性获得的相似度信息与从搜索图像中提取的位置和外观信息（见表4）。

动态模板更新

IT静态模板图像 Is 搜索区域图像 Id动态模板图像，

FT Fd是对应输入特征提取网络后的特征。更新模板为：

FT‘与Fs送入到相似性模块计算嵌入得到es eT后计算cos相似性

将搜索特征与分类分数相乘后池化得到向量es ，动态模板进行池化得到向量 eT

推理阶段从每 N 个历史搜索帧中选择相似度最大的帧 裁剪图像进行更新动态模板。

训练时还额外增加了负样本构建三元损失。