关于光流法的介绍

一、 光流场定义

场景中景物的运动会导致运动期间所获得的图像中景物处在不同的相对位置，这种位置的差别可以称之为视差，它对应景物运动反应在图像上的位移矢量。如果用视差除以时差，就得到速度矢量。一幅图像所有速度矢量构成一个矢量场，在很多情况下也可称为光流场

利用图像差可以获得运动轨迹，利用光流不能获得运动轨迹，但可以获得对图像有用的信息。光流分析可以用于解决各种运动问题——摄像机静止目标运动、摄像机运动目标静止、两者都运动。光流场刻画了物体运动的速度大小及方向，二维光流场包含了运动速度信息和时间相干信息。

二、光流的应用

1. 运动目标检测
   给图像中的每个像素点赋予一个速度矢量，这样就形成了一个运动矢量场。根据各个像素点的速度矢量特征，可以对图像进行动态分析。如果图像中没有运动目标，则光流矢量在整个图像区域是连续变化的。当图像中有运动物体时，目标和背景存在着相对运动。运动物体所形成的速度矢量必然和背景的速度矢量有所不同，如此便可以计算出运动物体的位置。需要提醒的是，利用光流法进行运动物体检测时，计算量较大，无法保证实时性和实用性。

2. 目标跟踪
   （1）对一个连续的视频帧序列进行处理；
   （2）针对每一个视频序列，利用一定的目标检测方法，检测可能出现的前景目标；
   （3）如果某一帧出现了前景目标，找到其具有代表性的关键特征点（可以随机产生，也可以利用角点来做特征点）；
   （4）对之后的任意两个相邻视频帧而言，寻找上一帧中出现的关键特征点在当前帧中的最佳位置，从而得到前景目标在当前帧中的位置坐标；
   （5）如此迭代进行，便可实现目标的跟踪；

三、 稀疏光流与稠密光流

稀疏光流只计算某些特征明显的像素点的运动。稀疏光流估计最经典的算法是Lucas-Kanade method (KL)。
稠密光流计算图像上所有像素点的运动。稠密光流是 Farneback。

四、怎么看光流图

一张光流图如下，怎么看懂它呢？

在光流图中，不同颜色表示不同的运动方向，深浅表示运动的速度。其参考图如下所示：