Object-Adaptive LSTM Network for Real-time Visual Tracking with Adversarial Data Augmentation 学习笔记

OA-LSTM-ADA 学习笔记

1.贡献

a.我们提出了一种新的目标自适应LSTM网络用于视觉跟踪，它充分利用了序列依赖性，并有效地适应了对象的外观变化。由于其固有的循环结构，网络的内部状态可以在前向传递过程中动态更新。因此，该方法能够在复杂场景下对任意目标进行鲁棒跟踪。
b.我们提出了一种快速的建议选择策略，利用基于匹配的跟踪方法来预估计稠密的样本，并选择高质量的样本馈给LSTM网络。该策略直接从搜索区域的特征映射中获取建议特征。通过这种方法，可以有效地减少传统基于分类的跟踪框架中提取提案特征的昂贵计算代价，从而使我们的方法能够实时运行。
c.针对LSTM网络在线学习过程中存在的样本不足和类别不平衡问题，提出了一种数据扩充策略。我们使用在线学习的GAN生成具有序列特异性信息的多样正样本，丰富了可用的训练数据，从而方便了LSTM网络的训练。

2.具体实现

2.1 网络结构

具体步骤：
a.利用孪生网络匹配目标模板，从而得到一个响应图，在响应图的基础上，从搜索区域的特征图中选择高质量的提议，并对其进行裁剪，之后送入LSTM网络中进行分类 ——过滤不相关的建议，大大减低提取建议特征的计算量，达到实时运行
b.在线学习一个自适应的LSTM网络，以分类基于特征的序列信息的建议特征，利用LSTM在记忆有用历史信息方面的优势，将选定的建议和之前估计的目标状态输入LSTM网络，通过这种方法，LSTM网络能够根据内部网络状态识别出最优的目标状态，内部网络状态能够有效地记忆目标在较长时间跨度内的外观变化。由于LSTM网络固有的循环结构，在进行前向传递时，内部网络状态可以同时更新
c.为了解决LSTM网络在线学习过程中样本不足和类别不平衡的问题，文中利用GAN生成多样的正样本来近似真实的目标图像

2.2 快速建议选择

具体步骤:
a.利用互相关计算搜索区域和模板的相似图，并选取得分较高的点
b.通过在响应图中的点映射到特征图中得到其对应的建议后裁剪上面得到建议与模板大小一致
通过上面步骤，我们可以过滤掉偏离中心点、无用的以及琐碎的建议，这样可以大大减少了对建议进行的特征提取的冗余计算

2.3 自适应对象的LSTM网络

2.3.1 Forward pass

具体步骤:
a.先将通过建议选择策略得到的建议框reshape成一维向量，之后通过Input层即全连接层得一个适合LSTM输入的一维向量
b.将上面得到的输入和上一帧的目标状态输入在线LSTM得到当前帧所以建议框的目标状态
c.将上面b中的得到的目标状态的隐藏状态输入到output层可以得到每个建议框的分类情况，然后根据分类情况我们便可以确定当前跟踪的目标，即得到了该建议框的目标状态
d.最后将上面得到的建议框的目标状态送入到后续帧进行后续的跟踪
图中所有的公式如下：

2.3.2 Backward Pass

为了充分利用特定序列的信息跟踪任意目标，并避免过拟合的风险，因而采用在线学习策略来训练LSTM网络，
通过估计的LSTM状态和当前帧的训练样本来训练对象分类器，LSTM网络可以根据之前记忆的对象信息区分对象和背景。
本文使用了交叉熵损失函数，训练过程中的向后传递可以用一下公式：

2.4 GAN数据增强

为了训练一个鲁棒分类器，能够在具有挑战性的场景下有效的区分目标和背景，LSTM需要足够的训练数据，因此文中提出了Gan数据增强来解决这一问题，我们在第一帧中训练GAN学习原始目标外观，然后在后续帧中使用真实采样图像更新，从而有效铺货临时变化的目标外观

2.5 该算法流程

3 实验结果

OTB-2015