GradNet: Gradient-Guided Network for Visual Object Tracking论文阅读

1.Introduction

1.1 contribution：

1.提出GradNet进行梯度引导的模板更新以进行视觉跟踪
2.提出了一种模板泛化方法，保证了较强的适应能力，避免过拟合

2.Related Work

2.1 Model Updating in Tracking

三种模板更新策略即：template combination, gradient-descent based and correlation-based。

2.1.1 Template Combination

基于模板组合的算法(作者在文中指出的算法)旨在有效地组合来自先前帧的目标特征，但它们的方法都致力于使用模板的信息而忽略了背景杂波。作者提出的方法充分利用了后向梯度中的判别信息，而不是仅仅整合以前的模板。

2.1.2 Gradient-descent based approaches

先前的算法太多的训练迭代次数去捕获目标的外观变化，无法满足实时性的要求。提出的GradNet只需要一次反向传播和两次前向传播就能有效地更新模板。此外，用于处理过拟合的模板泛化方法没有在现有工作中研究过。

2.1.3 Correlation based Tracking

基于相关性的跟踪器通过循环卷积训练分类器，这可以在傅立叶域快速计算。通过求解优化函数的闭式解来训练和更新最终分类器。深度网络无法完全模拟分类器训练，因此大多数基于相关性的跟踪器只是利用深度网络来提取鲁棒特征。不同的是，GradNet在一个端到端的网络中更新模板

2.2 Gradient Exploiting

2.2.1 Meta Learning

Meta Learning代表性的三类方法：基于优化的方法、基于记忆的方法和基于变量的方法。GradNet可以视为基于优化方法的进阶版，让其能够适应视觉跟踪的更新任务。与基于优化方法的三个不同点:
1.只更新模板而不更新搜索区域的网络
2.更新过程只需一次迭代
3.优化器的训练包含之前方法未使用过的二阶梯度

2.2.2 Meta Learning for Tracking

有工作设计了一个记忆结构来动态写入和读取先前的模板以进行模型更新。 而GradNet专注于探索梯度的判别信息。有工作离线训练具有逐像素学习率的滤波器的初始化参数，并利用矩阵乘法来更新滤波器。这是一个线性更新过程。GradNet是一个非线性更新过程通过卷积层和ReLu实现。此外，使用目标特征作为先验信息，通过提供一个好的初始值来加速更新过程。

3. Proposed Algorithm

The pipeline of the proposed Algorithm：

3.1 Basic Tracker

使用了SiamFC作为basic tracker。
SiamFC的得分图计算公式：

GradNet设计了一个更新分支来发掘梯度中的丰富信息，因此模板的计算公式可定义为：

α是更新分支的参数，它不仅能够捕获模板Z中的模板信息，也能够通过梯度得到X中的背景信息。

3.2 Template Generation

3.2.1 Initial Embedding

初始模板β：

因为需要从梯度中发觉判别式信息让模板更加鲁棒，因此还要通过公式（1）计算初始得分图S。

3.2.2 Gradient Calculation

initial loss L：

Y为training label。l（·）为logistic损失函数。
利用这个loss来计算 f2(Z) 的梯度并将其添加到 f2(Z) 中。 然后，通过以下方式获得更新后的目标特征：

因为梯度与U1有关，作为子网U2的输入来计算最终的loss，所以在子网U1的参数训练中引入了二阶引导。

3.2.3 Template Update

将更新后的目标特征再次送入U1子网络得到优化后的模板β★和最终的得分图S★：

目标是让S★在目标位置有着最高的得分，在其他位置的得分低。因此利用S★得到的loss来训练更新分支：

3.3 Template Generation

3.3.1 Problem of Basic Optimization

training set:

训练更新分支：

此方法存在的两个主要问题：
1.网络的更新分支倾向于关注模板外观而不是梯度，因为学习使用梯度比建模相似性度量更难。在图4中所展示的，在训练过程中未使用模板泛化会导致梯度占比较低。
2.网络在上述的训练过程中，无法避免过拟合

3.3.2 Template Generalization

提出了一种模板泛化方法，该方法采用来自不同视频的搜索区域来获得通用模板，并使其在每个训练批次的所有搜索区域上都表现良好。在使用四个图像对的模板泛化的模型中，使用一个模板在四个来自不同视频的搜索区域上进行搜索。
模板泛化提供具有多个搜索区域的目标特征，并且旨在获得一个通用的模板特征能够在所有的搜索区域上表现良好。这种策略能够让网络在离线训练的过程中集中于梯度，因为初始目标特征是不对齐而梯度是对齐的。子网 U1 和 U2 需要根据梯度校正初始不对齐的模板，从而获得根据梯度更新模板的强大能力

3.4 Online Tracking

3.4.1 Online Update

通过一次迭代用一个可靠的训练样本更新模板 β*。根据跟踪结果来保留一个可靠的训练样本去更新样本β*基于公式（4）-（7）。根据初始帧得到更新的样本特征h2（Z1)。更新分支通过得到的可靠样本更新h2（Z1)，并得到回归部分的最佳模板β★。