基于Deep Learning的跟踪算法总结（四）

题外话：博主这段时间忙于办理签证，比较忙，一直没时间看论文。：-（

一、引言

深度学习具有强大的能力，但由于目标跟踪任务本身的特殊性，深度学习一直没能很好地发挥出自己的潜能。其中，导致深度学习算法速度慢的一个重要原因是online-update，即更新过程中的反向传播。那么，于是就人提出，是否可以不进行在线更新呢？而只在线下训练，测试时只进行前向的一次传递，这样的速度是很快的。

二、How

注意，本文不详细介绍每一篇论文，只介绍每篇论文是如何做到不在线更新，还保持准确率的。其中第一、二篇论文介绍，请参考本系列之前文章，第三篇请参考博主上一篇博文。论文链接之前也放出，这里不再列举。

1、GOTURN

Our tracker uses a simple feed-forward network with no online training required. The tracker learns a generic relationship between object motion and appearance and can be used to track novel objects that do not appear in the training set.

学习的是物体运动特征和外貌特征的关系，能够跟踪在训练过程中未出现过的物体。

2、Siamese Nets

网络学习的是一个相似度比较函数。

3、Re3 Net

CNN+LSTM网络。CNN捕捉外貌特征，LSTM捕捉运动特征，其中外貌特征是线下训练得到的，在测试过程中CNN参数是固定的，而LSTM也不进行反向传播。但LSTM的state会在前向传播中更新（注意，这个有别于反向传播的更新）。

此处未完，待更。

三、综述

个人觉得前两种方法比较牵强，当然都取得很好的效果。而第三种方法更加直观。像第一种方法，为什么能捕捉运动信息呢？而第二种，则是学习的是相似度函数，但看上去线下需要各种物体大量的训练数据，对新物体的效果应该会大打折扣。第三种方法，虽然因为无法在线更新，对新物体的特征无法学习，但是LSTM能够在前向过程中更新状态，可以理解为捕捉到最近几帧的运动特征，效果显然要比第一种好。