运动目标检测之光流法（2）：金字塔Lucas-Kanade算法

参考链接1：添LK金字塔光流法与简单实现
参考链接2：LK算法改进（金字塔LK）
参考链接3：看公式推导

1.光流法
在计算机视觉中，Lucas–Kanade光流算法是一种两帧差分的光流估计算法。它由Bruce D. Lucas 和 Takeo Kanade提出。

1.1 定义
空间运动物体在观察成像平面上的像素运动的瞬时速度,是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。也就是说，由空间域到图像平面的投影。而通俗来讲，把图像中的每一个点的瞬时速度和方向找出来就是光流。

1.2 假设条件

（1）亮度恒定，就是同一点随着时间的变化，其亮度不会发生改变。这是基本光流法的假定（所有光流法变种都必须满足），用于得到光流法基本方程；

（2）小运动，这个也必须满足，就是时间的变化不会引起位置的剧烈变化，这样灰度才能对位置求偏导（换句话说，小运动情况下我们才能用前后帧之间单位位置变化引起的灰度变化去近似灰度对位置的偏导数），这也是光流法不可或缺的假定；

（3）空间一致，一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一致。这是Lucas-Kanade光流法特有的假定，因为光流法基本方程约束只有一个，而要求x，y方向的速度，有两个未知变量。我们假定特征点邻域内做相似运动，就可以连立n多个方程求取x，y方向的速度（n为特征点邻域总点数，包括该特征点）。

1.3 光流法的基本方程

但是这个我们要计算一个点的光流，有两个未知数，只有一个方程，该如何解呢？针对这个问题，有很多解决方法：

• 基于梯度的方法
• 基于匹配的方法
• 基于能量的方法
• 基于相位的方法

下面我们介绍一个很经典的算法， LK光流提取算法

2.Lucas–Kanade算法
基本假设：光流在像素点的邻域是一个常数

我们首先要设置一个邻域的窗口，之后计算光流
当窗口较大时，光流计算更鲁棒
当窗口较小时，光流计算更正确
原因在于，当图像中每一个部分的运动都不一致的时候，如果开的窗口过大，很容易违背假设：窗口（邻域）内的所有点光流一致，这可能与实际不一致，所以窗口小，包含的像素少，更精确些。当运动较为剧烈的时候，无法实现光流的基本假设，所以当我们的领域加大的时候，算法更鲁棒。

如何解决这一问题，我们采用了金字塔的方法，即窗口固定，将图像生成金字塔，在每一层金字塔上都用同一个大小的窗口来进行光流计算。那么在图像大小较小的时候，窗口显得较大，此时的光流可以跟踪速度较快的目标，而在原始图像的时候，光流窗口相对较小，得到的光流就更准确。这是一个由粗到精的过程。

因为LK算法的约束条件即：小速度，亮度不变以及区域一致性都是较强的假设，并不很容易得到满足。如当物体运动速度较快时，假设不成立，那么后续的假设就会有较大的偏差，使得最终求出的光流值有较大的误差。构建图像金字塔可以解决大运动目标跟踪，也可以一定程度上解决孔径问题（相同大小的窗口能覆盖大尺度图片上尽量多的角点，而这些角点无法在原始图片上被覆盖）。考虑物体的运动速度较大时，算法会出现较大的误差。那么就希望能减少图像中物体的运动速度。一个直观的方法就是，缩小图像的尺寸。假设当图像为400×400时，物体速度为[16 16],那么图像缩小为200×200时，速度变为[8,8]。缩小为100*100时，速度减少到[4,4]。所以光流可以通过生成 原图像的金字塔图像，逐层求解，不断精确来求得。简单来说上层金字塔（低分辨率）中的一个像素可以代表下层的两个。

3.Lucas–Kanade光流算法的改进
Jean-Yves Bouguet提出一种基于金字塔分层，针对仿射变换的改进Lucas-Kanade算法。

对于Lucas-Kanade改进算法来说，主要的步骤有三步：建立金字塔，基于金字塔跟踪，迭代过程。

3.1 构建图像金字塔

令I0 = I 是第 0 层的图像，它是金字塔图像中分辨率最高的图像，图像的宽度和高度分别定义为nx0 = nx 和 ny0 = ny 。以一种递归的方式建立金字塔：从I0中计算I1，从I1中计算I2 ，···。用一个[0.25 0.5 0.25]的低通滤波器对I L − 1
​ 进行卷积。
计算公式为：

3.2 基于金字塔跟踪和迭代

我们对视频中点的跟踪实际上是对相邻两帧的图像进行处理，设图像I和J为相邻两帧的图像，我们希望在图像J中找到u0的对应点v，那么首先对两幅图像进行分层，假设如上图分为3层，如此可以分别计算得到u1、u2、u3。
对于金字塔我们从最高层开始进行处理， u3在图像J中的对应初始点为v31（v31和u3是相等的，图画的不太准），然后通过某种计算符合相应的条件后，得到当前层最小误差点v3n（n表示经过n次计算）和相应的光流。然后利用计算得到的光流能够在图像J中找到点v21作为第二层的初始点，以此类推进行和第3层一样的迭代计算最终能够获得包含各层光流分量的总光流，就能得到最终的对应点v0r。

建立金字塔后，首先对于最高层的图像计算出其上的光流；
通过上一层（L+1层）的计算结果对下一层（L层）的的图像进预平移，并在L层的基础上计算出该层的残余光流向量dL。由于金字塔中每一层的尺寸均是上一层的一半，因此其每一层的光流均是其上一层的二分之一。
通过L+1层计算出的光流作为初值计算L层的光流，可以保证每一层的残余光流向量较小，从而应用L-K光流算法；
对于每一层迭代光流计算，最终得到的光流也即是所有层光流的叠加。
由于顶层图像尺寸较小，其初始的光流估计量可以设置为0，即 gL = [0, 0] 。

4 特征点选择
1、计算图像 I 中每一个像素的矩阵G和最小特征值λm。
2、寻找整副图像中最小特征值 λm 中的最大特征值λmax。
3、保留最小特征值 λm 大于给定阈值的像素点。阈值通常取5% λmax ~10% λmax 。
4、保留 λm 局部最大值的像素：像素特征值 λm 大于其3*3 邻域中其他像素的特征值 λm 。
5、剔除像素密集区域中的一些像素，确保图像中相邻像素的距离都大于给定的阈值（常取5~10 pixels）。
上述操作完成后，图像 I 中剩下的像素即为选择的特征点，并作为跟踪特征点。特征点选择算法的步骤5 确保了特征点间的最小距离。

没有必要取一个大的综合窗口选择特征点（或计算矩阵G）。大量实验证明，wx = wy =1的 3*3 大小的综合窗口能够取得满意的效果。

注：1.某种计算具体见论文。
2.相应条件包含两种，一是达到设置的迭代次数上限，二是计算结果符合精确度阈值。
3.论文中能够得到一些参数设置信息，迭代次数一般设置为5次即可（但是opencv中默认为30次），金字塔层数≤4，搜索窗大小为奇数x奇数。