视觉SLAM十四讲学习5 位姿估计（7）光流法，光流跟踪

前言

本篇继续位姿估计，光流法，光流跟踪。

LK光流

基于特征点的位姿估计中，特征匹配是比较耗时的过程。因此，光流法常被用来替换特征匹配法，来加速特征点的跟踪。

假设相机的相邻位姿之间，空间点的亮度（像素灰度值）是不变的，则：
$$I(x+dx,y+dy,t+dt)=I(x,y,t)$$
上面这个式子表示，空间点在$dt$的时间内，在图像上移动了$(dx,dy)$的像素距离。接着泰勒展开：
$$\begin{gathered} I(x,y,t)+I_{x}dx+I_{y}dy+I_{t}dt=I(x,y,t) \\ set{I}_x=\frac{\partial I}{\partial x},I_y=\frac{\partial I}{\partial y} \\ then{I}_{x}dx+I_{y}dy+I_{t}dt=0 \\ so{I}_x\frac{dx}{dt}+I_y\frac{dy}{dt}=-I_t \\ \left[\begin{array}{cc}{I}_x& I_y\end{array}\right]\left[\begin{array}{c}\frac{dx}{dt}\\ \frac{dy}{dt}\end{array}\right]=-I_t \end{gathered}$$
上式中，$I_x,I_y$表示像素点在x,y方向上的梯度，$dx/dt,dy/dy$表示像素点在x,y方向上的移动速度，$I_t$表示像素灰度对时间的变化。

对于单个特征点的光流跟踪。容易受到噪声、光度变化等干扰，因此假设以特征点为中心的一个$w\times w$大小的图块的运动是相同的，考虑图块的光流：
$$\begin{gathered} {\left[\begin{array}{cc}{I}_x& I_y\end{array}\right]}_k\left[\begin{array}{c}\frac{dx}{dt}\\ \frac{dy}{dt}\end{array}\right]=-I_{tk} \\ k=1,2,\dots ,w^2 \\ ThatisAx=b \end{gathered}$$
于是就形成了一个关于$dx,dy$的超定方程组，可以通过线性最小二乘求解$x=-(A^{T}A{)}^{-1}{A}^{T}b$。

最后计算得到的$dx/dt,dy/dt$，就是该特征点前后移动的位置。

光流金字塔

由于光流法的灰度不变假设，运动一致性假设都很严格，因此使用时如果相机运动较大，光流跟踪的结果很容易陷入局部最小。

于是，LK光流通常配合图像金字塔使用，如下图所示。将原图按照0.5倍，0.25倍，0.125倍尺寸缩小，得到图像金字塔。然后，在尺寸最小的图层上进行光流计算，把跟踪结果投影到第二张图层上进行光流计算，把跟踪结果投影到第三层，直到最后在原图上计算出跟踪结果。这种思想类似于coarse-to-refine。

由于缩小到0.125倍时，原始图像中像素的运动也被缩小了，因此就满足了图块的运动一致性假设，使得光流跟踪更加鲁棒。