最近需要学习计算机视觉中的目标跟踪方面的内容,在学习前做了个调研,对该领域的主要发展做下总结。
介绍
目标跟踪是计算机视觉领域的一个重要分支,是模式识别,图像处理,计算机视觉,机器学习等学科的交叉研究,有着广泛的应用,如视频监控,虚拟现实,人机交互,图像理解,无人驾驶等。
目前的目标跟踪的通常任务是,在视频的第一帧给定一个目标的矩形框,然后后续这个矩形框紧跟着要跟踪的物体。不过,目标跟踪与计算机视觉中的图像识别,分割,检测是分不开的,通常跟踪是这些分割检测的最后一步。
研究
目标跟踪方向的论文可以关注计算机视觉的三大顶会 CVPR (Computer Vision and Pattern Recognition)、ICCV (International Conference on Computer Vision) 、ECCV (European Conference on Computer Vision),另外网站 arXiv 也值得关注。
VOT Challenge是目标跟踪领域的赛事,类似于图形识别领域中的ImageNet挑战赛。这些赛事通常都是标准数据集的来源,所以VOT数据集是一个常用的目标跟踪数据集。此外,还有吴毅老师的论文出现的OTB数据集,包括OTB50 (指2013年的数据集,50个视频序列)和 OTB100(指2015年的数据集,100个视频序列),也是目标跟踪重要的数据集。
通常目标跟踪面临几大难点:物体变形,亮度变化,快速移动,背景干扰覆盖等,通常不规则的变化都是目标跟踪的难点,这也是在工业上未得到使用而需要解决的问题。其中最主要的三个难题分别是目标背景的变化、物体本身的变化、光照强度变化。
算法
目前公认的跟踪算法按照是否需要检测过程的参与,可以将其分为两类,一类是生成式,另一类是判别式,这和机器学习算法的分类有相似之处。
生成式算法通过描述目标的表观特征,处理当前帧与下一帧的关系。主要包括稀疏编码(sparse coding)、在