特征点追踪之LK光流法

一般而言，LK光流用于特征点的跟踪，即前一帧中的关键像素到当前帧所对应的位置

LK光流会有一些假设：

• 灰度不变假设：即真实世界的一个确定的点，反应到像素级别，其灰度是不变的
• 微扰不变假设：即时间的微小扰动不会引起像素的剧烈变化
• 空间一致假设：相同表面相邻的点具有相似的运动，像素级别时他们也比较接近

基于前两个假设，便有如下约束方程
$$I(x,y,z)=I(x+\delta x,y+\delta y,z+\delta z)$$

其中$I(x,y,z)$是指在$z$时刻，坐标$(x,y)$的灰度值

对约束方程做一阶泰勒展开可得

$$I(x+\delta x,y+\delta y,z+\delta z)=I(x,y,z)+\frac{\partial I}{\partial x}\delta x+\frac{\partial I}{\partial y}\delta y+\frac{\partial I}{\partial z}\delta z+R$$

其中$R$是高阶余项，视为0

易得
$$\frac{\partial I}{\partial x}\delta x+\frac{\partial I}{\partial y}\delta y+\frac{\partial I}{\partial z}\delta z=0$$

两边除以$\delta z$，有
$$\frac{\partial I}{\partial x}\frac{\delta x}{\delta z}+\frac{\partial I}{\partial y}\frac{\delta y}{\delta z}+\frac{\partial I}{\partial z}=0$$

其中$\frac{\delta x}{\delta z}$和$\frac{\delta y}{\delta z}$为像素点沿$x$和$y$方向的速度（位移对时间的导数）

简写成$I_x{v}_x+I_y{v}_y+I_z=0$

化作矩阵形式

$$\left(\begin{array}{cc}{I}_x& I_y\end{array}\right)\left(\begin{array}{c}{v}_x\\ v_y\end{array}\right)=-I_z$$

利用第三假设，可以假设在一个$m\times m$的窗口内，光流是一个恒定的值，即
$$\begin{array}{c}{I}_{x_1}{v}_x+I_{y_1}{v}_y=-I_{z_1}\\ ...\\ I_{x_{m^2}}{v}_x+I_{y_{m^2}}{v}_y=-I_{z_{m^2}}\end{array}$$

利用最小二乘可以直接得到解