关于追踪

作者：求是
链接：https://www.zhihu.com/question/26493945/answer/269900232
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
https://note.youdao.com/ynoteshare1/index.html?id=e8b09b17964bfac51b6e2161ebeb759d&type=note#/

https://zhuanlan.zhihu.com/p/46669238

https://arxiv.org/abs/1504.06055

https://www.zhihu.com/question/26493945

2016比赛代码：http://votchallenge.net/vot2016/trackers.html

2017比赛代码 ：http://votchallenge.net/vot2016/trackers.html

不邀自来。我主要从工程应用的角度来回答这个问题。水平所限，不当或错误之处敬请斧正。

团队研制的是航天航空高速成像设备，电视上转播的火箭、导弹发射画面都是这种设备实时拍摄。这种设备的功能是：通过跟踪计算目标位置参数输入伺服系统，进而控制机械臂调整摄像头，实现全程跟拍。这属于跟踪为数不多的刚需应用之一，全套设备的性能取决于跟踪算法。主要技术点包括：特征设计和实时切换、模型更新、目标重定位等。场景包括可见光、红外，短时(跟踪时长<2分钟)、长时跟踪(long-term tracking，2分钟至20分钟不等)，高空、低空、地面背景等。目前长时跟踪没有可行算法，因此仅讨论短时跟踪。

这种设备短时跟踪的主要难点是图像的随机热畸变、高速目标的几何形变、背景的变化遮挡。因为偏重工程应用，因此我们奉行性能至上的功利主义，评价算法的唯一标准就是实用性。下面简要介绍我们的两个项目。

第一个项目是机场中低空背景下飞机目标跟踪，我们带着数据跑了北京、西安、大连、长沙等多所知名高校和研究所，听了无数次粒子滤波、均值漂移、稀疏表示和深度学习的讲座，然后我们把数据拿出来，大多数都表示做不了。他们给我们演示的demo中，跟踪白墙旁边挥舞的小红旗、红木桌上晃动的手掌，太脱离实际场景。

另一个项目是夜空下火箭尾焰跟踪，主要难点包括起飞时烟雾背景的干扰以及尾焰的大角度、非刚性形变。我们查遍了论文和书籍，最后在一本信息论中找到了可供参考的方法，做了改进然后用在装备上，效果很好。合作的一个高校团队将这种方法用在了机场跑道异常物检测设备上。

作为工程人员，我们认为，公开发表的顶会顶刊论文中95%以上是没有实用价值的。

最后，知乎问答要有干货。满怀敬意地列出2010年至2015年底这段时间内对我们有参考价值的算法，这些算法都是经过我们验证过的简洁、有效且鲁棒的算法。短时跟踪方面，首先是序贯归一化互相关NCC(normalized cross correlation)算法[1、2]，struck效果也很优秀[3]。至于其他的算法，毫不讳言地说，唯一有工程实用性的是相关滤波系列算法[4、5、6]。长时跟踪有借鉴意义的成果包括主要是TLD[7]，下面这个小组进行了一些有启发的研究。

http://www.cs.cmu.edu/~deva/

参考文献：

[1]J. P. Lewis. Fast normalized cross-correlation. Vision interface 1995.

[2]G. G. Scandaroli, M. Meilland, and R. Richa. Improving ncc-based direct visual tracking. ECCV 2012.

[3]Sam Hare, Amir Saffari, Philip H. S. Torr. Struck: structured output tracking with kernels. ICCV 2011.

[4]David S. Bolme J. Ross Beveridge Bruce A. Draper. Visual object tracking using adaptive correlation filters. CVPR 2010.

[5]J. F. Henriques, R. Caseiro, P. Martins, J. Batista. High-speed tracking with kernelized correlation filters. PAMI 2015.

[6]Martin Danelljan,Gustav Hager,Fahad Shahbaz Khan,etc. Discriminative scale space tracking. PAMI 2017.

[7]Zdenek Kalal, Krystian Mikolajczyk, and Jiri Matas. Tracking-learning-detection. PAMI 2010.