目标跟踪发展时间线

看了很多关于目标跟踪的博客和文章，对目标跟踪的发展时间线做了如下的总结，下面分的单目标和多目标并不是特别准确，对于很多算法来说都是直接说是Tracking，没有单和多之分。实际上多目标所面对的情境更加复杂，可以说多目标是在单目标的基础上扩展了数据关联。由于之前只是零散的去了解目标跟踪这个领域，所以想通过一些比较经典的算法和较新的一些算法，想把整个发展的时间线贯连起来。
这篇文章主要讲的是目标跟踪发展的时间线，对其做了三个阶段的划分（我也不确定对不对，有不同见解的请拍砖）。接下来的文章会对本文所提及的算法进行一个思路上的介绍。

一、单目标跟踪发展时间线

第一阶段（大部分2010年之前，落地多，FPS高，算力要求不大）

1、静态背景
1）背景差：对背景的光照变化、噪声干扰以及周期性运动等进行建模。
2）帧差
3）Codebook
4）GMM
5）ViBe（2011）
6）光流

2、运动场（分为相机固定，但是视角变化和相机是运动的）
1）运动建模（如视觉里程计运动模型、速度运动模型）
2）核心搜索算法（常见的预测算法有Kalman(卡尔曼)滤波、扩展的卡尔曼滤波、粒子滤波）
3）Meanshift算法
4）Camshift算法

第二阶段（2010年~2012年，检测与跟踪相结合的方法出现）
在该阶段，对已存的目标追踪算法出现了两种比较公认的分类，一种是基于生成模型的方法，一种是基于判别模型的方法。在第一阶段中的方法都属于前一种，而基于判别的方法是指通过分类来做跟踪，也叫检测跟踪（Tracking-by-
Detection）。
通过机器学习方法，提取图像特征，并训练分类器进行分类，在下一帧用训练好的分类器找到最优区域。该阶段，经典的判别类方法有Struck和TLD。

第三阶段（2010年~至今，基于相关滤波的跟踪算法提出，且在及深度学习的应用）
相关滤波的跟踪算法始于2010年David SBolme提出的MOSSE方法，而深度学习的应用则是起于2013年DLT的提出。在VOT2014~2015中，相关滤波处于霸主地位，值得发现的是在VOT2015深度学习的应用已经开始。而在VOT2016开始，深度学习应用的目标跟踪取得了很好的效果，独霸一方。VOT2017依然是相关滤波维持霸主地位。在VOT2018，SiamNet类方法应用广泛，虽然仍然动摇不了相关滤波的主流地位，但是它有很高的潜力，也是目前可以和DCF类方法相抗衡的方法。
1、基于相关滤波的跟踪算法
1）MOSSE
2）CSK
3）KCF/DCF
4）CN
5）DSST

2、基于深度学习的跟踪算法
1）MDNet
2）TCNN
3）GOTURN
4）Deeper and Wider Siamese Networks for Real-Time Visual Tracking（CVPR，2019）

3、深度学习和相关滤波相结合
1）DeepSRDCF
2）C-COT
3）ECO（2017）
4）SiamFC
5）Siamese Net大爆发（2018，SiamRPN, SA-Siam-R）
6）SiamMask（CVPR，2019）
7）UPDT(2018,DCF+CNN)

传统跟踪算法（correlation filters）速度快，很容易做到实时，但是鲁棒性没有深度算法好，深度算法往往运算量大，而且因为很多都用到了在线微调，所以速度慢。

二、多目标跟踪发展时间线

与单目标跟踪不同，多目标跟踪最大的特点在于要进行数据关联，所要面对的场景更加复杂，也更具挑战性，除了单目标跟踪所要遇到的问题之外，多目标追踪还通常会遇到以下问题：
1）跟踪目标的自动初始化和自动终止，即处理新目标的出现，老目标的消失。
2）跟踪目标的运动预测和相似度判别，即准确的区分每一个目标。
3）跟踪目标之间的交互和遮挡处理。
4）跟丢目标再次出现时，如何进行再识别问题。

可以说随着不同的单目标跟踪方法的出现，多目标跟踪也同样经历了以上所提及的多个阶段。
第一阶段（概率统计最大化的追踪）
1）多假设多目标追踪算法（MHT，基于kalman在多目标上的拓展）
2）基于检测可信度的粒子滤波算法
3）基于最小代价流优化的多目标跟踪算法
4）基于马尔科夫决策的多目标跟踪算法
5）基于局部流特征的近似在线多目标跟踪算法

第二阶段（深度学习的应用）
利用深度神经网络学习目标检测的表观特征是简单有效的提升多目标跟踪算法的方法。例如利用图像识别或者行人重识别任务中学习到的深度特征直接替换现有多目标跟踪算法框架中的表观特征，或者采用深度神经网络学习光流运动特征，计算运动相关性。
采用深度学习提升多目标跟踪算法更加直接的方法是学习检测之间的特征相似性（Reid），比如设计深度网络计算不同检测的距离函数，相同目标的检测距离小，不同目标的检测距离大，从而构造关于检测距离的代价函数。也可以设计二类分类代价，使相同目标的检测特征匹配类型为1，而不同目标的检测特征匹配类型为0,从而学习并输出(0,1]之间的检测匹配度。
如果考虑已有轨迹与检测之间的匹配或者轨迹之间的匹配，采用深度学习方法可以用于设计并计算轨迹之间的匹配相似度，这种方法可以认为是基于深度学习的高阶特征匹配方法。采用深度学习计算高阶特征匹配可以学习多帧表观特征的高阶匹配相似性，也可以学习运动特征的匹配相关度。
深度学习应用后的多目标跟踪算法
1）基于对称网络的多目标跟踪算法
2）基于最小多割图模型的多目标跟踪算法
3）通过时空域关注模型学习多目标跟踪算法
4）基于循环网络判别融合表观运动交互的多目标跟踪算法
5）基于双线性长短期循环网络模型的多目标跟踪算法

参考链接
https://www.zhihu.com/question/26493945/answer/156025576
https://blog.csdn.net/u013187057/article/details/83866127
https://blog.csdn.net/duwenchao_Tom/article/details/77466742
https://mp.weixin.qq.com/s/XwMXrsmSnImgD1vNSVErLg
《Probabilistic Robotics》 Sebastian Thrun