Lucas-Kanade光流算法 — Lucas-Kanade Method

Lucas-Kanade光流算法通过假设像素的变化速度与其临近像素的变化一致来增加约束条件，并利用最小二乘法来计算光流【学习本文内容前，需要先了解光流的基础知识】。构建目标函数如下：
$$E=\sum _{p^{\prime }nearp}g(p^{\prime })(u{I}_{p_x^{\prime }}+v{I}_{p_y^{\prime }}+I_t{)}^2$$

其中，$p^{\prime }$表示像素$p$附近的像素（包括像素$p$本身），它们共享速度$(u,v)$。$g(p^{\prime })$表示权重函数，限定每个临近像素$p^{\prime }$对像素$p$的影响，常用的权重函数有高斯函数。对于计算目标函数$E$取得最小值时$u$和$v$的取值，可采用梯度下降法：
$$\{\begin{array}{l}u:=u-\alpha \frac{\partial E}{\partial u}\\ v:=v-\alpha \frac{\partial E}{\partial v}\end{array}$$

其中，$\frac{\partial E}{\partial u}$和$\frac{\partial E}{\partial v}$的计算式如下：
$$\begin{gathered} \frac{\partial E}{\partial u}=\sum _{p^{\prime }nearp}2g(p^{\prime })(u{I}_{p_x^{\prime }}^2+v{I}_{p_y^{\prime }}{I}_{p_x^{\prime }}+I_t{I}_{p_x^{\prime }}) \\ \frac{\partial E}{\partial v}=\sum _{p^{\prime }nearp}2g(p^{\prime })(u{I}_{p_x^{\prime }}{I}_{p_y^{\prime }}+v{I}_{p_y^{\prime }}^2+I_t{I}_{p_y^{\prime }}) \end{gathered}$$

扩展

Lucas和Kanade在1981年发表的论文$AnIterativeImageRegistrationTechniquewithanApplicationtoStereoVision$中指出，此算法还可以用于计算图像间的旋转、缩放、裁剪、对比度和亮度的变化。

令$F(p)$和$G(p)$分别为图像一和图像二，$p$表示像素。图像间的旋转、缩放和裁剪的关系可以构建如下表达式：
$$G(p)=F(p+h)A$$

注：原文中的公式是$G(p)=F(pA+h)$。不过，我认为$G(p)=F(p+h)A$表达更合适。

其中，$A$为矩阵，表示图像$F$和图像$G$之间的线形变化，例如：旋转矩阵。$h$表示光流$(u,v)$。可构建目标函数如下：
$$E=\sum _{p^{\prime }nearp}[F(p+h)A-G(p){]}^2$$

图像间的对比度和亮度变化关系可以构建如下表达式：
$$G(p)=\alpha F(p)+\beta$$

其中，$\alpha$表示图像对比度变化，$\beta$表示图像亮度变化。至此，可构建新的目标函数来同时计算图像间的旋转、缩放、裁剪、对比度和亮度的变化。如下：
$$E=\sum _{p^{\prime }nearp}[F(p+h)A-(\alpha F(p)+\beta ){]}^2$$