【OpenCV笔记】光流法之金字塔Lucas-Kanade

本文参考链接：https://blog.csdn.net/zy122121cs/article/details/44955353
参考论文：”Pyramidal Implementation of the Lucas Kanade Feature TrackerDescription of the algorithm”

一、金字塔光流法介绍

光流金字塔即对图像进行分层处理，一般来说不算原始图像（最底层）的话分为四层就能满足需求，按照论文中的话说就是超过4层在大多数情况下没有意义。如果原始图像的大小为640x480，那么分为4层的大小分别为320x240，160x120，80x60，40x30。
如下图所示：
 

金字塔分层

接下来对金字塔光流法的过程进行简单描述，期间不会出现任何数学公式，对公式有兴趣的小伙伴可以直接搜索查阅参考文献的论文。
首先展示一张图：

金字塔光流的过程

我们对视频中点的跟踪实际上是对相邻两帧的图像进行处理，设图像I和J为相邻两帧的图像，我们希望在图像J中找到u0的对应点v，那么首先对两幅图像进行分层，假设如上图分为3层，如此可以分别计算得到u1、u2、u3。
对于金字塔我们从最高层开始进行处理， u3在图像J中的对应初始点为v31（v31和u3是相等的，图画的不太准），然后通过某种计算符合相应的条件后，得到当前层最小误差点v3n（n表示经过n次计算）和相应的光流。然后利用计算得到的光流能够在图像J中找到点v21作为第二层的初始点，以此类推进行和第3层一样的迭代计算最终能够获得包含各层光流分量的总光流，就能得到最终的对应点v0r。

注：1.某种计算具体见论文。
       2.相应条件包含两种，一是达到设置的迭代次数上限，二是计算结果符合精确度阈值。这在opencv的函数中有体现。