光流(Optical flow or optic flow)是关于视域中的物体运动检测中的概念。用来描述相对于观察者的运动所造成的观测目标、表面或边缘的运动。光流法在样型识别、电脑视觉以及其他影像处理领域中非常有用,可用于运动检测、物件切割、碰撞时间与物体膨胀的计算、运动补偿编码,或者通过物体表面与边缘进行立体的测量等等。
在 2D+t 维的情况下(3D 和更高维度亦然),假设位于 的体素的亮度是 。该体素在两个图像帧之间移动了 、、。于是可以得出一个亮度相同的结论:
假设该移动很小,那么可以根据泰勒级数得出:
因此可以推出:
或
最终可得出结论:
这里的 偏导数。 、 和 的关系可用下式表述: 是 和 方向上的速率,或称为 的光流。而 , 和 则是图像 在对应方向上的
或
卢卡斯-金出方法是一种广泛使用的光流估计的差分方法,这个方法是由Bruce D. Lucas和Takeo Kanade发明的。它假设光流在像素点的邻域是一个常数,然后使用最小二乘法对邻域中的所有像素点求解基本的光流方程。
通过结合几个邻近像素点的信息,卢卡斯-金出方法(简称为L-K方法)通常能够消除光流方程里的多义性。而且,与逐点计算的方法相比,L-K方法对图像噪声不敏感。不过,由于这是一种局部方法,所以在图像的均匀区域内部,L-K方法无法提供光流信息。
L-K方法假设两个相邻帧的图像内容位移很小,且位移在所研究点p的邻域内为大致为常数。所以,可以假设光流方程 在以p点为中心的窗口内对所有的像素都成立。也就是说,局部图像流(速度)向量 须满足:
其中,
是窗口中的像素, 是图像在点 和当前时间对位置x,y和时间t的偏导。这些等式可以写成矩阵的形式 ,此处
此方程组的等式个数多于未知数个数,所以它通常是超定的。L-K方法使用最小二乘法获得一个近似解,即计算一个2x2的方程组:
- 或
其中,转置。即计算:
是矩阵 的对i=1 到 n求和。
矩阵结构张量
通常被称作图像在点p的