本文参考链接:https://blog.csdn.net/zy122121cs/article/details/44955353
参考论文:”Pyramidal Implementation of the Lucas Kanade Feature TrackerDescription of the algorithm”
一、金字塔光流法介绍
光流金字塔即对图像进行分层处理,一般来说不算原始图像(最底层)的话分为四层就能满足需求,按照论文中的话说就是超过4层在大多数情况下没有意义。如果原始图像的大小为640x480,那么分为4层的大小分别为320x240,160x120,80x60,40x30。
如下图所示:
![](https://i-blog.csdnimg.cn/blog_migrate/b8ed43c55fc7c27e8632a2872ecd924a.png)
接下来对金字塔光流法的过程进行简单描述,期间不会出现任何数学公式,对公式有兴趣的小伙伴可以直接搜索查阅参考文献的论文。
首先展示一张图:
![](https://i-blog.csdnimg.cn/blog_migrate/30298c38b851f4e20a647c8fd9652eab.png)
我们对视频中点的跟踪实际上是对相邻两帧的图像进行处理,设图像I和J为相邻两帧的图像,我们希望在图像J中找到u0的对应点v,那么首先对两幅图像进行分层,假设如上图分为3层,如此可以分别计算得到u1、u2、u3。
对于金字塔我们从最高层开始进行处理, u3在图像J中的对应初始点为v31(v31和u3是相等的,图画的不太准),然后通过某种计算符合相应的条件后,得到当前层最小误差点v3n(n表示经过n次计算)和相应的光流。然后利用计算得到的光流能够在图像J中找到点v21作为第二层的初始点,以此类推进行和第3层一样的迭代计算最终能够获得包含各层光流分量的总光流,就能得到最终的对应点v0r。
注:1.某种计算具体见论文。
2.相应条件包含两种,一是达到设置的迭代次数上限,二是计算结果符合精确度阈值。这在opencv的函数中有体现。