1.基本原理
光流法是利用图像序列中的像素在时间域上的变化、相邻帧之间的相关性来找到的上一帧跟当前帧间存在的对应关系,计算出相邻帧之间物体的运动信息的一种方法。
-
基本假设
亮度不变假设:同一个空间点的像素灰度值,在各个图像中是固定不变的。
微小运动假设:同一空间点在连续帧间的运动较小 -
数学表达
从不同的角度引入约束条件,导致了不同光流场计算方法。按照理论基础与数学方法的区别把它们分成四种:基于梯度的方法、基于匹配的方法、基于相位的方法和神经动力学方法。
梯度法:
梯度法又称为微分法,即对图像上饿各个像素点的亮度值分别进行时域和空域的微分处理,即可得到每个像素点的速度情况。基于梯度法,Horn和Schunck提出全局平滑假设,也即HS算法;Lucas和Kanade提出LK提出局部平滑假设,也即LK算法。
匹配法:
基于匹配的光流计算方法包括基于特征和区域的两种。
基于特征的方法不断地对目标主要特征进行定位和跟踪,对目标大的运动和亮度变化具有鲁棒性。存在的问题是光流通常很稀疏,而且特征提取和精确匹配也十分困难。
基于区域的方法先对类似的区域进行定位,然后通过相似区域的位移计算光流。这种方法在视频编码中得到了广泛的应用。然而,它计算的光流仍不稠密。另外,这两种方法估计亚像素精度的光流也有困难,计算量很大。
相位法:
基于相位的方法是由Fleet和Jepson提出的,Fleet和Jepson最先提出将相位