目标追踪调研开发说明书

目标追踪调研

目标跟踪(特指单目标跟踪)是指: 给出目标在跟踪视频第一帧中的初始状态(如位置, 尺寸), 自动估计目标物体在后续帧中的状态. 人眼可以比较轻松的在一段时间内跟住某个特定目标. 但是对机器而言, 这一任务并不简单, 尤其是跟踪过程中目标有可能会发生剧烈形变、被其他目标遮挡或出现相似物体干扰等等各种复杂的情况. 过去几十年以来, 目标跟踪的研究取得了长足的发展, 尤其是各种机器学习算法被引入以来. 2013年以来, 深度学习方法开始在目标跟踪领域展露头脚, 并逐渐在性能上超越传统方法, 取得巨大的突破.

一. 目标追踪可用开源数据集

1. 首先, 用的最广泛的是OTB-50和OTB-100, 里面涉及到灰度图像和彩色图像, 均可
   以免费下载, 涉及到目标跟踪的11个属性: 包括光照变化、尺度变化、遮挡、形变、运动模糊、快速运动、平面内旋转、平面外旋转、出视野、背景干扰、低像素.
2. VOT数据集是基于每年一次的VOT比赛的, 每年都会有新的数据集产生, 当然其中
   一部分图像序列是和OTB重合的, 但是总的来说VOT数据集略难于OTB数据集, 一般用VOT16, 一般在这两个数据集上跑的效果都好, 才算真的好, 如果只在一个数据集上效果好, 那只能说明这个算法的泛化能力还不够. OTB的网址Visual Object Tracking.
3. Temple Color 128数据集里面包含的全是彩色序列, 部分序列也是和OTB重合的, 如
   果算法只适用于彩色序列的话可以在此数据集上跑一下, 此数据集也是免费下载, 网址Temple Color 128 - Color Tracking Benchmark.
4. VIVID Tracking数据集里面包含9个序列, 均是从高空拍摄的车辆视频图像, 包括灰
   度图像和彩色图像, 相对时间都比较长, 目标也比较小, 遮挡情况比较多, 网址VIVID Tracking Evaluation Web Site .
5. UAV123 Dataset数据集是均是通过无人机拍摄的彩色图像, 但是需要翻墙下载, 如
   果是做无人机目标跟踪方面的同学, 此数据集一定必不可少, 网址A Benchmark and Simulator for UAV Tracking.
   除此之外还有许多目标跟踪的数据集, 在此就不一一列举.

二. 目前跟踪算法

目前跟踪算法可以被分为产生式(generative model)和判别式(discriminative model)两大类别.
产生式方法运用生成模型描述目标的表观特征, 之后通过搜索候选目标来最小化重构误差, 即在下一帧的图像中寻找最接近目标的物体的位置. 这种最接近, 通用用最大似然或最大后验概率表示. 但是产生式算法着眼于目标本身, 忽略背景信息, 因此在目标本身变化剧烈或者有遮挡时效果较差. 判别式方法通过训练分类器来区分目标和背景. 判别式方法因为显著区分背景和前景的信息, 表现更为鲁棒, 逐渐在目标跟踪领域占据主流地位. 值得一提的是, 目前大部分深度学习目标跟踪方法也归属于判别式框架.
目标追踪的一些经典算法, 如KCF, MIL, TLD等都可以实现目标追踪目标. 但是这些经典算法在提取目标的特征时利用的都是人工设计的特征, 如HOG特征, CN(color names)特征, 这些人工设计的特征缺少自适应性. 因此经典目标追踪算法的效果一般. 随着深度学习方法的崛起, 开始使用学习的特征代替普通人工设计特征, 精度上有了一定提高.
不同于识别, 检测等领域, 深度学习在目标跟踪这一方向上并没有表现出那么大的统治力. 只要原因在于训练数据的缺失. 即目标跟踪仅以第一帧的bounding box作为训练数据. 因此, 目前基于深度学习的目标跟踪算法提出了以下几种思路解决这个问题:

1. 利用辅助图像预训练模型, 并在线跟踪微调.

2. 利用现有的大规模数据集训练好的CNN模型提取特征.

3. 利用跟踪序列预训练, 在线跟踪微调.

4. 利用循环神经网进行目标跟踪, 这是一个新思路.
   深度学习的目标跟踪算法的模型, 代码以及在数据集上的表示结果可以参考https://github.com/foolwood/benchmark_results, 目标跟踪常见数据集介绍可以参考以下链接https://blog.csdn.net/fengying2016/article/details/76559633. 现在对对基于深度学习的目标跟踪算法进行介绍. 具体的模型和目标跟踪常用数据集见下图:
   

5. 利用辅助图像预训练模型, 并在线跟踪微调.
   使用辅助的非跟踪训练数据进行预训练, 获取对物体特征的通用表示, 在实际跟踪时, 通过利用当前跟踪目标的有限样本信息对预训练模型微调(fine-tune), 使模型对当前跟踪目标有更强的分类性能. 这种迁移学习的思路极大的减少了对跟踪目标训练样本的需求, 也提高了跟踪算法的性能. 代表性的作品有DLT和SO-DLT.
   DLT模型在CVPR2013提出的OTB50数据集上的29个跟踪器中排名第5.
   SO-DLT在CVPR2013提出的OTB50数据集上OPE准确度绘图(precision plot)达到了0.819, OPE成功率绘图(success plot)达到了0.602. 远超当时其它的state of the art.

6. 利用现有的大规模数据集训练好的CNN模型提取特征.
   直接使用ImageNet这样的大规模分类数据库上训练出的CNN网络如VGG-Net获得目标的特征表示, 之后再用观测模型(observation model)进行分类获得跟踪结果. 充分利用了深度特征强大的表征能力. 代表模型有FCNT和HCF.
   FCNT模型在CVPR2013提出的OTB50数据集上OPE准确度绘图(precision plot)达到了0.856,OPE成功率绘图(success plot)达到了0.599, 准确度绘图有较大提高. 实际测试中FCNT的对遮挡的表现不是很鲁棒, 现有的更新策略还有提高空间.
   HCF模型在CVPR2013提出的OTB50数据集上OPE准确度绘图达到了0.891,OPE成功率绘图达到了0.605, 相较于FCNT和SO-DLT都有提高, 实际测试时性能也相当稳定, 显示出深度特征结合相关滤波器的巨大优势.

7. 利用跟踪序列预训练, 在线跟踪微调.
   前两种方法在解决训练数据不足使用的策略和目标跟踪本身的任务存在一定的偏离, 因此VOT2015的冠军MDNet给出了一个示范.
   MDNet模型OTB50上也取得了OPE准确度绘图0.942,OPE成功率绘图0.702的惊人得分.

8. 利用循环神经网进行目标跟踪.
   近年来RNN尤其是带有门结构的LSTM, GRU等在时序任务上显示出了突出的性能. 不少研究者开始探索如何应用RNN来做解决现有跟踪任务中存在的问题. 代表模型有RTT, DeepTracking.
   RTT模型在CVPR2013提出的OTB50数据集上OPE准确度绘图为0.827,OPE成功率绘图达到了0.588.
   DeepTracking作为用RNN建模跟踪时序任务的作品, 其亮点主要在对RNN和贝叶斯框架融合的理论建模上. 实验展示了该方法在模拟场景下的不错效果, 但是模拟数据和真实场景差距很大, 能否在实际应用中有比较好的表现还有待商榷.
   上述的模型均是在2016年之前发表的文章, CVPR2017, ECCV2017, CVPR2018, ECCV2018提出了许多解决目标跟踪的文章. 更多的关于模型的介绍, 在数据集上的结果展示可以参考以下链接:https://github.com/foolwood/benchmark_results .
   经过以上对目标跟踪的调研结果, 先对MDNet模型进行测试. 测试一下模型的输入, 输出, 以及模型的性能.

三. 目标追踪结果简单展示

例如我们在视频的第一帧指定需要跟踪的目标的位置和尺寸, 如下图的红色框标注的目标:

利用MDNet模型, 我们可以在后续的帧中检测出相应的目标, 简单地结果展示如下:

MDNet模型结果分析:

1. 利用MDNet模型, 我们可以实现目标追踪这个目标, 但是需要在第一帧指定目
   标的一个大体位置, 这个位置和尺寸我们可以从标注人员标注的文件中进行提取. 提取完第一帧标注的目标的信息之后, 可以利用MDNet模型检测出相应目标在后续帧的出现的情况(如果将视频换成图像, 那么我们可以直接给出后续图像的名称, 这样就可以避免多次标注同一个目标).
2. 有一个问题就是我们只能指定某一帧的目标的位置和尺寸, 但是对于某个目标是在
   哪一帧出现的并不清楚, 这也会增加标注人员的工作量. 目前调研的结果自动化还不是很完善, 如果想自动化整个过程, 还需要更多的考虑.
3. 通过进行大量的实验, 我们发现目标跟踪模型对单目标的跟踪效果是可以接受的,
   但是对于多目标的跟踪效果有待提高.