光流法简介

光流是指在连续的两帧图像中由于图像中的物体移动或者摄像头的移动导致的目标中目标像素的移动，光流是二维矢量场，表示了一个点从第一帧到第二帧的位移。

光流法的工作原理基于如下假设：

1. 相邻帧之间的亮度恒定；
2. 相邻视频帧的取帧时间连续，或者，相邻帧之间物体的运动比较“微小”；
3. 同一子图像的像素点具有相同或相似的运动。

传统算法——Lucas-Kanade算法：

第一帧中的像素$I(x,y,t)$表示在时刻t时像素$I(x,y)$的值，在经过$\Delta t$时间后，该像素在下一帧中移动了$(\Delta x,\Delta y)$，在假设中，这些像素在理想情况下应当是相等的，即：
$$I(x,y,t)=I(x+\Delta x,y+\Delta y,t+\Delta t)$$
假设移动很小，那么右式可以用泰勒公式展开：
$$I(x+\Delta x,y+\Delta y,t+\Delta t)=I(x,y,t)+\frac{\partial I}{\partial x}\Delta x+\frac{\partial I}{\partial y}\Delta y+\frac{\partial I}{\partial t}\Delta t+ϵ$$
其中$ϵ$是高阶无穷小，那么就可以得到：
$$\frac{\partial I}{\partial x}\Delta x+\frac{\partial I}{\partial y}\Delta y+\frac{\partial I}{\partial t}\Delta t=0\Rightarrow \frac{\partial I}{\partial x}\frac{\Delta x}{\Delta t}+\frac{\partial I}{\partial y}$$