Lucas–Kanade method(LK光流法)

Lucas–Kanade method

在计算机视觉中，Lucas-Kanade方法是由Bruce D. Lucas和Takeo Kanade开发的一种广泛使用的光流估计差分方法。 它假设流在所考虑的像素的局部邻域中基本恒定，并且通过最小二乘准则解决该邻域中所有像素的基本光流方程。[1] [2]

通过组合来自几个附近像素的信息，Lucas-Kanade方法通常可以解决光流方程的固有模糊性。 与逐点方法相比，它对图像噪声的敏感度也较低。 另一方面，由于它是纯粹的局部方法，因此它不能在图像的均匀区域的内部提供流信息。

Concept

Lucas-Kanade方法假设图像内容在两个邻近时刻（帧）之间的位移很小并且在所考虑的点p的邻域内近似恒定。 因此，可以假设光流方程保持在以p为中心的窗口内的所有像素。 即，局部图像流（速度）向量{\ displaystyle（V_ {x}，V_ {y}）}（V_ {x}，V_ {y}）必须满足

其中{\ displaystyle q_ {1}，q_ {2}，\ dots，q_ {n}} q_ {1}，q_ {2}，\ dots，q_ {n}是窗口内的像素，{\ displaystyle I_ {x}（q_ {i}），I_ {y}（q_ {i}），I_ {t}（q_ {i}）} I_ {x}（q_ {i}），I_ {y}（q_ {i}），I_ {t}（q_ {i}）是关于位置x，y和时间t的图像{\ displaystyle I} I的偏导数，在点{\ displaystyle q_ {i}处计算 } q_ {i}并且在当前时间。

该系统具有比未知数更多的方程，因此通常是过度确定的。 Lucas-Kanade方法通过最小二乘原理获得最优解。 即，它解决了2×2系统

等式中的中心矩阵是逆矩阵。 总和从i = 1到n运行。

矩阵{\ displaystyle A ^ {T} A} A ^ {T} A通常被称为点p处的图像的结构张量。

加权窗口

上面的简单最小二乘解决方案对窗口中的所有n个像素{\ displaystyle q_ {i}} q_ {i}赋予相同的重要性。 在实践中，通常更好地给更靠近中心像素p的像素赋予更多权重。 为此，使用最小二乘方程的加权版本，

使用条件和技术

改进和扩展

最小二乘法隐含地假设图像数据中的误差具有零均值的高斯分布。如果人们希望窗口包含一定百分比的“异常值”（严重错误的数据值，不遵循“普通”高斯误差分布），可以使用统计分析来检测它们，并相应地减少它们的权重。

只有当两帧之间的图像光流向量{\ displaystyle V_ {x}，V_ {y}} V_x，V_y小到足以保持光流的微分方程时，才能使用Lucas-Kanade方法本身。这通常小于像素间距。当光流向量可能超过此限制时，例如在立体匹配或翘曲文档注册中，Lucas-Kanade方法仍可用于细化通过其他方式获得的相同的粗略估计;例如，通过外推为先前帧计算的流向量，或者通过在缩小版图像上运行Lucas-Kanade算法。实际上，后一种方法是流行的Kanade-Lucas-Tomasi（KLT）特征匹配算法的基础。

可以使用类似的技术来计算图像内容的差分仿射变形。