KLT（Kanade-Lucas-Tomasi ）

目录

光流法

KLT

原理

应用

---

目标跟踪算法主要分为两类：一类是传统的目标跟踪算法（粒子滤波(pf)、Mean Shift及KLT算法(或称Lucas光流法)）；另一大类是基于深度学习的跟踪算法。

光流法

光流(Optical flow) 其实是指空间运动物体在观察成像平面上的像素运动的 瞬时速度。
它利用了图像序列中像素强度在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。
那么简单来说，光流其实就是瞬时速率，在时间间隔很小(前后连续相邻两帧)时等同于目标点的位移。
前提假设：
1.相邻帧之间的亮度恒定；
2.相邻帧之间物体的运动比较“微小”；
3.保持空间一致性；即，相邻像素点具有相同的运动。

KLT

属于光流法的一种，

假设条件
（1）亮度恒定 → 保证不受亮度的影响
（2）时间连续或者运动位移小 → 保证KLT算法能够找到点
（3）空间一致性，邻近点有相似运动，保持相邻 → 在同一个窗口中，所有点的偏移量都相等

主要步骤
（1）在第一帧检测Harris角点
（2）在连续帧之间每一个角点通过平移或仿射进行运动估计
（3）连接连续帧中的运动向量，得到每一个角点的轨迹
（4）对于各特征点，在各帧中判断其跟踪的好坏。有些特征可以移除（比如去除掉那些被遮挡的或者无法准确跟踪的），可以周期性（如每隔5帧）加入一些新的特征
（5）使用步骤1-3追踪新和旧的角点

原理

在窗口w上，所有(x, y)都往一个方向移动了(dx,  dy)，从而得到(x', y')，即t时刻的(x, y)点在t+τ时刻为(x+dx, y+dy)，所以寻求匹配的问题可化为对以下的式子寻求最小值，或叫做最小化以下式子：

　　用积分来表示上述式子，以上式子可等效为：

　　这个式子的含义，即找到两副图像中，在W窗口中，I、J的差异，其中I以x-d/2为中心，J以x+d/2为中心，w/2为半径的一个矩形窗口间的差异，好吧，结合我们微积分的知识，函数ε(d)要取得最小值，这个极值点的导数一定为0，即
　　

的值为0，由泰勒展开的性质：

可以得到：

于是，问题转化为：

其中：

从而，问题即为：

=>

即其等式可看作为：

其中，Z为一个2*2的矩阵，e为一个2*1的向量，

为了要使d能够得到解，则Z需要满足条件，即Z*Z'矩阵可逆，其中Z'为Z矩阵的转置(ZT)，在一般情况下，角点具有这样的特点。

应用

基于Kanade-Lucas-Tomasi 算法的人脸特征点跟踪方法

基于Kanade-Lucas-Tomasi算法的人体体表呼吸运动追踪

参考：https://www.cnblogs.com/moondark/archive/2012/05/12/2497391.html
参考：https://blog.csdn.net/weixin_50141064/article/details/120330188