视觉跟踪近年来的进展（2010年以前）——Advances in Visual Tracking

转自：http://www.cnblogs.com/panlonyin/p/tracking.html 

注：本文整理自Ming HSuan Yang的Tutorials-Advances in Visual Tracking,文章关于跟踪的问题以及近年来视觉跟踪方面的进展都整理的很全，特此将该文整理如下！（下文如有不妥之处，请指正，谢谢！交流QQ：644792619）

1.计算机视觉中的跟踪问题

　　首先，跟踪就是理解目标随时间的几何相关性，它是计算机视觉中的一个基本问题；其次，跟踪也是一个具有挑战性任务；最后它在实际生活中有广泛的应用：如运动分析，监控，自动化机器人，外观建模，目标识别，人机交互，游戏，视频索引等。

　　跟踪的具体内容可以根据视觉层次划分为：

　　　　1）高层视觉：a.刚性目标---位置，方向，矩形框，相似性和仿射变换；b.非刚性目标---部分，姿态，轮廓，形状变化，手指，手势等。

　　　　2）中层视觉：区域，轮廓。

　　　　3）低层视觉：特征。

　　跟踪过程中的运动信息包括：位置，大小，旋转，相似性变换，仿射变换，动态等。

 

2. 跟踪的分类

　　根据跟踪的内容不同，跟踪可以划分为：

　　　　1）基于特征的跟踪；

　　　　　　　　Image features [Shi and Tomasi, 1994]
　　　　　　　　Interest point operator:
　　　　　　　　Harris corner detector [Harris and Stephens, 1988]
　　　　　　　　SIFT (Scale-Invariant Feature Transform) [Lowe, 2004]
　　　　　　　　SURF (Speeded Up Robust Features) [Bay et al., 2006],
　　　　　　　　GLOH (Gradient Location and Orientation
　　　　　　　　Histogram) [Mikolajczyk and Schmid, 2005]
　　　　　　　　SIFT 
　　　　　　　　ow [Liu et al., 2008]
　　　　　　　　SURFTrac [Ta et al., 2009]

　　　　2）基于模型的跟踪；

　　　　　　　　Digifingers [Rehg and Kanade, 1994]
　　　　　　　　Articulated hand tracking [Wu et al., 2001]
　　　　　　　　Model-based 3D tracking [Lepetit and Fua, 2005]

　　　　3）基于轮廓的跟踪；

　　　　　　　　Snake [Kass et al., 1987]
　　　　　　　　Active contour [Caselles et al., 1997, Isard and Blake, 1996,
　　　　　　　　Cootes et al., 1998]
　　　　　　　　Level set [Paragios and Deriche, 2000]
　　　　　　　　Exemplar-based tracker [Toyama and Blake, 2001]

　　　　4）基于行人的跟踪等。

　　　　　　　　a）Near-view
　　　　　　　　　　2D card board human [Ju et al., 1996]
　　　　　　　　　　[Ioffe and Forsyth, 2001] [Cham and Rehg, 1999]
　　　　　　　　　　[Pavlovic et al., 1999] [Hua and Wu, 2004]
　　　　　　　　　　3D human model [Bregler and Malik, 1998]
　　　　　　　　　　[Sidenbladh et al., 2000] [Deutscher et al., 2000]
　　　　　　　　　　[Sminchisescu and Triggs, 2001] [Sigal et al., 2004]
　　　　　　　　　　[Urtasun et al., 2006] [Li et al., 2006]
　　　　　　　　b)Far-view
　　　　　　　　　　Pfinder [Wren et al., 1997]
　　　　　　　　　　W4 [Haritaoglu et al., 1998]
　　　　　　　　　　Multiple objects [Okuma et al., 2004] [Tao et al., 2002]

 

 3.视觉跟踪的目标和挑战

　　目标：定位感兴趣目标的位置，大小，估计目标的运动；

　　挑战：a)于光照导致的目标外观的变化，b)视角和形状变化，遮挡，c)相机移动。

　　传统的方法：1)目标描述；2）在t-1帧预测下一帧的状态，例如用线性/非线性优化，采样，粒子滤波等方法；3）在t帧用图像模型来验证预设的正确与否

　　现在面临的问题：

　　　　1）大多数方法需要离线训练；

　　　　2）大多数方法没有目标的高层描述（特征）；

　　　　3）大多数方法没有实时的跟新目标的外观模型。

 

4.关于跟踪：

　　1）分类方法：

　　　　Obviously numerous ways
　　　　High-level, mid-level, low-level
　　　　Rigid and non-rigid object
　　　　Single or multiple objects
　　　　Single or multiple homogeneous/heterogeneous trackers
　　　　Color-based or not
　　　　Generative and discriminative
　　　　Supervised or unsupervised
　　　　Real-time or batch-mode
　　　　Single or multi-view based
　　　　Probabilistic or deterministic

　　2）表述：

　　

　　　　(a) Centroid；(b) multiple points；(c) rectangular patch；(d) elliptical patch；(e) part-based multiple patches；(f) object skeleton；(g)complete object contour；(h) control points on object contour；(i) object silhouette.

　　3）预测方法：

　　　　Tracking: prediction, prediction, prediction
　　　　Kalman filter(卡尔曼滤波)
　　　　Maximum likelihood estimation（最大似然估计）
　　　　Multiple hypothesis（多重假设）
　　　　Non-parametric model（无参数模型）
　　　　Particle lter（粒子滤波）

 

 5. 常用的跟踪算法

　　　Optical Flow(光流法)、eigentracking(特征跟踪)、Template-based tracking(基于模板的跟踪)、Blob Tracker、Kernel-based Tracking、Sequental Kernel-based Approximation、WSL、Kalman Filter(卡尔曼滤波)、Partical Filter(粒子滤波)、Online Feature Selection、Incremental Learning for Robust Tracking、PCA描述、 Visual Tracking as statistical Inference、Dynamic Model、Observation Model、Inremental Supspace Update、R-SVD Algorithm、Efficient R-SVD with Updated Mean、SVM+Optical、Adaptive Discriminative Generative Model、Tracking by Detection、Online Boosting、Ensemble Tracking、semi-supervised Tracking、Flag Track、Online Multiple Instance Learning、Boosting and MILBoost、Batch MILBoost、Online MILBoost for Tracking、Online Articulated Object for Tracking、Sparse Representation、Multiple Trackers、Multiple Observers with Different Lifespans、Learning with multiple Tracker、Visual Tracking Decomposition、PROST、Tracking with Reference Object

(详情请见：http://faculty.ucmerced.edu/mhyang/papers/accv10_tutorial.pdf)

 

6. 性能评价：

　　1）评价标准：
　　　　time
　　　　accuracy: position, overlapping area, angle
　　　　motion information: similarity/ane transform
　　　　consistency
　　　　off -line training
　　　　recover from failure
　　　　qualitative and quantitative
　　　　lighting
　　　　feature
　　　　multiple objects
　　　　image sensor
　　　　single tracker

　　2)数据集：

　　　　ground truth

 

7.跟踪中的遇到的开放性问题

　　Heavy occlusion（遮挡）
　　Articulated non-rigid motions
　　Failure recovery（错误跟踪的恢复）
　　Drifting problems（漂移）
　　Multiple targets（多目标）
　　Markless 3D human tracking
　　Context and prior knowledge（上下文和先验知识）
　　Simultaneous detection, tracking, and recognition
　　Long term and short term memory（长时间存储和短时间存储）

 

 

 参考网站：http://faculty.ucmerced.edu/mhyang/