论文参考
请先阅读《视觉SLAM十四讲》的第8讲lk光流部分,最好也读读论文,本文是对论文的简单提要,以及部分难点的自己给出来的解释。
LucasKanade的目标是将模板图像T(x)与输入图像I(x)对齐,其中x=(x;y)T是包含像素坐标的列向量。
W(x;p)在论文中表示某种对(x,y)坐标的变换,如这是普通的加法。
这是复合运算。
正向加法
损失函数
即对于T图像x位置的像素尽可能的用I图像W(x;p)的像素对应上(光流追踪)。
其他具体内容参考《视觉SLAM十四讲》
更新
△p可用高斯牛顿法算出。
正向复合法
损失函数与正向加法相同。
更新
拿最上面的复合运算的例子来说。
反向复合法
损失函数
对于I图像W(x;p)的像素尽可能的用T图像W(x;△p)位置(初值为W(x;0),即从无变换原坐标x出发)的像素对应上,解这个最小二乘问题可以获得△p,我们不用来更新T中的W变换,以逆变换的形式作用到I图像的W变换中,这样迭代雅可比矩阵始终不变,每次更新后损失函数只有后面的I改变了,对雅可比矩阵无影响。
更新
这是论文给出的逆运算对应W(x;△p)的逆运算,对应6个值。
当p1=0,p2=0,p3=0,p4=0,保留p5,p6就变成了加法光流。
那么反向光流简化为了用x+p5-△p5,y+p6-△p6替换x+p5,y+p6(正向加法的反向法,注意计算雅可比用的T,逆变换更新在了I上)。