CV中的光流与跟踪--overflow and tracking

Optucal Flow

X (t)是一个移动的三维点，场景点的速度：V = dX/dt
x(t)=（x(t)，y(t)）是X在图像中的投影
速度在图像中的v：由分量vx = dx/dt和vy = dy/dt给出这些分量被称为图像的运动场


运动矢量的长度与深度Z成反比, 当Vz是非零时每个运动向量都指向（或远离）平移方向的消失点。

Optical flow
光流是图像中亮度图案的表观运动,理想情况下，光流应该与运动场相同。(但是如果没有实际的运动，仅仅是球在原地旋转的情况下也是可能发生Optical flow的)

首先假设

• 同一点的投影在每一帧中看起来都是一样的
• 点不移动得很远的空间
• 点和临近点运动方向一样
  
  通过泰勒展开式我们可以进行简化：
  
  

Lucas-Kanade flow

该系统可以通过观察二阶矩矩阵的特征值来求解,M的特征向量和特征值与边缘方向和大小有关,与最快强度变化方向上的最大特征值点相关的特征向量，其他特征向量与之正交。

Tracking

当我们有两张需要进行光流估计，我们可以计算从每一帧到下一帧的光流。

挑战：

• 模糊性： 需要找到好的特征来跟踪大的运动
• 外观的变化，遮挡，解遮挡：需要删除的机制，添加新的特征
• 漂移（drift）：错误可能会随着时间的推移而积累,需要知道何时终止一个轨迹。

Shi-Tomasi feature tracker

• 利用二次矩矩阵的特征值寻找好的特征(要跟踪的特征是那些运动可以可靠地估计的特征)
• 需要一帧到一帧的特征移动的翻译模型
• 通过仿射配准到特征的第一个观察到的实例来检查轨迹的一致性

Template Matching

• 假设目标是一个图像模板T（x，y）
• 需要在连续的帧上匹配此模板。

Summary

– 在第一帧中初始化模型
– 给定的帧t-1的模型估计: 框架t的预测, 纠正框架t。