光流(Optical Flow)是在 1950 年 Gibson 等人提出,光流是指空间中的运动物体在观察成像平面上像素运动的瞬时速度。
他所研究的是利用视频序列或图像序列中像素的强度的相关性和时域变化来去确定像素的位置运动。
即研究的是图像灰 度在时间变化和图像中物体运动和结构的关系。通常将二维图像上特定坐标点像素的灰度瞬时变化率定义为光流矢量。 当我们在观察运动的目标时,目标所反射的光会到达人的视网膜上,在上面会形成变化的像,而这不断变化的像不断的经过视网膜,就像光流一样,因此我们将其称为光流,光流是运动的物体产生的,表示着物体的像的变化,所以包含了物体本身的 运动信息,因此经常用其来表示物体的运动。
光流场(Optical flow field)指影像灰度模式的表观运动,通常用一个二维矢量场 来表示光流场,它上面每个元素代表了影像上对应点的运动速度向量,通过光流场去 获取目标的运动信息,在理想的情况下,光流场对应运动场。 在计算光流的时候,需要满足两个基本假设条件:
(1)亮度是恒定不变的。即对与同一个目标它在视频中不同帧,他的亮度是不能改变的。这个条件是最基本的,对 于所有光流的计算方法,这一假设都要成立,所以光流是对亮度变化敏感的。
(2)视 频序列需要是时间连续的或者其中目标运动幅度不能太大。即目标的运动不会引起目 标位置的剧烈变化。相邻帧之间同一个目标位移要比较小。
研究者根据理论基础与数学方法的不同将其分成了五种:
(1)基于匹配的方法。
(2)基于相位的方法。
(3)基于梯度的方法。
(4)基于能量的方法。
(5)神经动力学方法。
上面提到的是根据计算光流的理论和方法对光流的分类,根据所形成的光流场中光流的稠密程度,还可将光流分为稠密光流和与稀疏光流。