具有一定亮度鲁棒性的GRKLT

标准KLT

KLT是属于光流法的一种，它的前提假设是：

1. 亮度恒定
2. 时间连续或者是运动是“小运动”
3. 空间一致，临近点有相似运动，保持相邻

很直观的说，如果判断一个视频的相邻两帧$I,J$在某局部窗口$W$上是一样的，则在窗口$W$内有：$I(x,y,t)=J(x^{\prime },y^{\prime },t+\tau )$，亮度恒定的假设（假设1）即为了保证其等号成立不受亮度的影响，假设2是为了保证KLT能找到点，假设3则为了尽量保证对于同一窗口中，所有点的偏移量都相等。
标准KLT的亮度假设可以表示为下式：
$$J(x+\frac{dX}{2})-I(x-\frac{dX}{2})=0\text{\hspace{1em}(1)}$$
其中$J$和$I$是相邻两帧的图像，$X=[x,y{]}^T$是对应的特征点，若考虑特征点周围的图像块$P$则可以通过下式来求特征点的位移：
$$\sum _{X\in P}\left[\begin{array}{cc}{s}_x^2& s_x{s}_y\\ s_x{s}_y& s_y^2\end{array}\right]\left[\begin{array}{c}dx\\ dy\end{array}\right]=2\sum _{x\in P}\left[\begin{array}{c}(I(X)-J(X))s_x\\ (I(X)-J(X))s_y\end{array}\right]$$
其中
$$\begin{gathered} s_x=J_x+I_x,s_y=J_y+I_y \\ {J}_x=\frac{\partial J(X)}{\partial x},J_y=\frac{\partial J(X)}{\partial y},I_x=\frac{\partial I(X)}{\partial x},I_y=\frac{\partial I(X)}{\partial y} \end{gathered}$$

具有一定亮度鲁棒性的GRKLT

但是在实际应用的时候，我们并不能保证KLT的假设1是成立的，我们经常会遇到一些场景，亮度会突然有一个变化（变亮或者变暗）。参考论文[1]¹中的考虑了两幅图像的曝光差异的光流跟踪则会对亮度的变化有一定的鲁棒性。

我们先来介绍一下这种方法为什么会对亮度有一定的鲁棒性的原理。首先，标准的KLT只考虑了两幅图像对应点之间的灰度值的差异，所以当亮度变化的时候，标准的KLT就跟踪效果没有那么好。而GRKLT则在考虑基本假设的时候就考虑到了两幅图像之间的曝光差异，也就是考虑了两幅图像之间会有亮度的变化。
首先不同与标准KLT的基本方程（1），GRKLT的基本假设如下式所示：
$$g(J(x_2))-g(I(x_1))=K\text{\hspace{1em}(2)}$$
其中响应函数$g$是辐射响应函数的对数逆$(log{f}^{-1})$，K是两幅图像曝光比的对数。我们简单的认为，$g$是响应函数，$K$是两幅图像的曝光差异。

首先考虑了当已知相机的响应函数$g$时，跟踪特征和估计两幅图像之间曝光差K的方法。对于位移为$dx$的特征$x$，可以得到下式
$$g(J(x+\frac{dx}{2}))-g(I(x+\frac{dx}{2}))=K$$
对图像进行泰勒展开，然后对响应函数进行线性化处理：
$$g(J(x)+\nabla J(x{)}^T\frac{dx}{2})-g(I(x)-\nabla I(x{)}^T\frac{dx}{2})=K$$
使得$J(x)=J,I(x)=I$，$g^{\prime }$是$g$的导数
$$g(J(x)+g^{\prime }(x)\nabla J^{\frac{dx}{2}})-[g(I(x)-g^{\prime }(I)\nabla I^T\frac{dx}{2})]-K=0$$
假设每个特征$P_i$周围的图像块的所有像素的位移相等，每个特征的位移$[d{x}_i,d{y}_i{]}^T$和曝光差$K$，通过最小化以下误差函数来估计：
$$E(d{x}_i,d{y}_i,K)=\sum _{x\in P_i}(\beta +a\frac{d{x}_i}{2}+b\frac{d{y}_i}{2}-K{)}^2$$
其中
$$\begin{gathered} a=g^{\prime }(J(x))J_x+g^{\prime }(I(x))I_x \\ b=g^{\prime }(J(x))J_y+g^{\prime }(I(x))I_y \\ \beta =g(J(x))+g(I(x)) \end{gathered}$$
当朝向未知数的所有偏导数为零时，误差函数被最小化。因此，需要针对每个特征求以下等式。
$$\underset{A_i}{\underbrace{\left[\begin{array}{cc}{U}_i& w_i\\ w_i^T& {\lambda }_i\end{array}\right]}}{z}_i=\left[\begin{array}{c}{v}_i\\ m_i\end{array}\right]\text{\hspace{1em}(3)}$$
$$\begin{gathered} U_i=\left[\begin{array}{cc}\frac{1}{2}{\sum }_{P_i}{a}^2& \frac{1}{2}{\sum }_{P_i}ab\\ \frac{1}{2}{\sum }_{P_i}ab& \frac{1}{2}{\sum }_{P_i}{b}^2\end{array}\right] \\ {w}_i=\left[\begin{array}{c}-{\sum }_{P_i}a\\ -{\sum }_{P_i}b\end{array}\right],{\lambda }_i=\sum _{P_i}2 \\ {v}_i=\left[\begin{array}{c}-{\sum }_{P_i}\beta a\\ -{\sum }_{P_i}\beta b\end{array}\right],m_i=2\sum _{P_i}\beta \\ {z}_i=[d{x}_i,d{y}_i,K{]}^T \end{gathered}$$

为了方便计算，我们对（3）式左乘下式
$$\left[\begin{array}{cc}I& 0\\ -w^T{v}^{-1}& 1\end{array}\right]$$
得到
$$\left[\begin{array}{cc}U& w\\ 0& -w^T{U}^{-1}w+\lambda \end{array}\right]z=\left[\begin{array}{c}v\\ -w^T{U}^{-1}v+m\end{array}\right]$$
然后我们求解
$$(-w^T{U}^{-1}w+\lambda )K=-w^T{U}^{-1}v+m$$
可以得到K，最后求解下面方程，就可以得到更新的$d_x,d_y$
$$U_i\left[\begin{array}{c}d{x}_i\\ d{y}_i\end{array}\right]=v_i-K{w}_i$$

在我实际对比的时候，当两帧图像之间的亮度差值较大的时候，也就是K的值在-0.3左右的时候（此时两幅图像的亮度差值应该在0.7倍的时候）GRKLT任然可以跟踪的比较鲁棒，如下面几张图所示。当平时亮度变化不明显的时候，K的值一般在0左右。

标准KLT在亮度变化时的跟踪结果

---

1. S. K. Kim, D. Gallup, J. Frahm, M. Pollefeys, ”Joint Radiometric Calibration and Feature Tracking for an Adaptive Stereo System.” Computer Vision and Image Understanding, Vol. 114, pp. 574-582, May, 2010. ↩︎