图像金字塔LK光流法原理分析

本篇博客只讲述原理，c++代码实现请参考博客《 基于金字塔LK的光流法实现—根据论文自己实现的c++代码》。

1.LK光流法原理分析

  光流法是一种根据时域上连续图像间的相关性来描述像素在前后两帧中的瞬时速度的方法，可用来完成特征点的追踪。稀疏（Lucas–Kanade，LK）光流算法是计算机视觉中常用的一种两帧间差分的光流估计算法。
  LK光流法不是没有条件限制的，它的应用必须基于以下三个假设：
  1.灰度不变假设：在不同图像的重叠区域中，重叠像素点的灰度值是恒定不变的。这是光流法进行数学原理推导的基本。
  2.小运动：运动比较轻微时，像素位置随时间的变化不会过于剧烈。此时，前后两帧间位置的变化导致的灰度值变化可以近似为灰度对位置的偏导数。
  3.空间一致性：真实场景中相邻的区域即使投影到二维图像中，仍然是相邻的图像区域。此区域中，邻近点的速度是相同的。这个假设是很有必要的，因为LK光流法要求取x，y（x和y都是未知数）方向上的速度。一个方程无法求解两个未知数，所以可以根据空间一致性假设，利用n个临近像素点联立n方程，通过最小二乘法给出最终结果。
  假设获取上一帧和下一帧图像的时间分别为 $t$ 和 $t+dt$，某像素点在上一帧和下一帧的位置分别为$I(x,y,z,t)$和$I(x+dx,y+dy,z+dz,t+dt)$。
  根据灰度不变假设得，

          $I(x,y,z,t)=I(x+dx,y+dy,z+dz,t+dt)$

  根据小运动假设，对上式进右侧行泰勒级数展开，

    $I(x+dx,y+dy,z+dz,t+dt)=I(x,y,z,t)+\frac{\partial I}{\partial x}dx+\frac{\partial I}{\partial y}dy+\frac{\partial I}{\partial z}dz+\frac{\partial I}{\partial t}dt$

  根据以上两式可得，

             $\frac{\partial I}{\partial x}dx+\frac{\partial I}{\partial y}dy+\frac{\partial I}{\partial z}dz+\frac{\partial I}{\partial t}dt=0$

  上式两边同时除以$dt$，且令$\frac{dx}{dt}=V_x$ ，$\frac{dy}{dt}=V_y$，$\frac{dz}{dt}=V_z$得，

             $\frac{\partial I}{\partial x}{V}_x+\frac{\partial I}{\partial y}{V}_y+\frac{\partial I}{\partial z}{V}_z+\frac{\partial I}{\partial t}=0$

  在二维图像中，可以忽略$z$，只需保留$x,y,t$ 即可，其中 $\frac{\partial I}{\partial x}$ ，$\frac{\partial I}{\partial y}$ ，$\frac{\partial I}{\partial t}$ 可表示为图像在$(x,y,t)$方向的差分，令$\frac{\partial I}{\partial x}=I_x$，$\frac{\partial I}{\partial y}=I_y$，$\frac{\partial I}{\partial t}=I_t$，上式可写为如下形式：

               $I_x{V}_x+I_y{V}_y=-I_t$

  现在有两个未知数，却只有一个方程，所以根据空间一致性假设，选取$3\times 3$窗口内的9个像素点联立，建立方程式，如下，

            $\left[\begin{array}{cc}{I}_{x1}& I_{y1}\\ I_{x2}& I_{y2}\\ ⋮& ⋮\\ I_{x9}& I_{y9}\end{array}\right]\left[\begin{array}{c}{V}_x\\ V_y\end{array}\right]=\lfloor$