本文参考链接:https://blog.csdn.net/zy122121cs/article/details/44955353
参考论文:”Pyramidal Implementation of the Lucas Kanade Feature TrackerDescription of the algorithm”
一、金字塔光流法介绍
光流金字塔即对图像进行分层处理,一般来说不算原始图像(最底层)的话分为四层就能满足需求,按照论文中的话说就是超过4层在大多数情况下没有意义。如果原始图像的大小为640x480,那么分为4层的大小分别为320x240,160x120,80x60,40x30。
如下图所示:
接下来对金字塔光流法的过程进行简单描述,期间不会出现任何数学公式,对公式有兴趣的小伙伴可以直接搜索查阅参考文献的论文。
首先展示一张图:
我们对视频中点的跟踪实际上是对相邻两帧的图像进行处理,设图像I和J为相邻两帧的图像,我们希望在图像J中找到u0的对应点v,那么首先对两幅图像进行分层,假设如上图分为3层,如此可以分别计算得到u1、u2、u3。
对于金字塔我们从最高层开始进行处理, u3在图像J中的对应初始点为v31(v31和u3是相等的,图画的不太准),然后通过某种计算符合相应的条件后,得到当前层最小误差点v3n(n表示经过n次计算)和相应的光流。然后利用计算得到的光流能够在图像J中找到点v21作为第二层的初始点,以此类推进行和第3层一样的迭代计算最终能够获得包含各层光流分量的