opencv c++摄像头光流_OpenCV视频分析-光流分析

概述

✔️ 光流是由对象或相机的移动引起的两个连续帧之间的图像对象的明显运动的模式.它是2D矢量场，其中每个矢量是位移矢量，表示从第一帧到第二帧的点的移动。

如下图所示，是一个球在连续的5帧图像中的运动,箭头显示其位移矢量.

位移矢量

光流有很多应用场景如下：

• 运动恢复结构
• 视频压缩
• 视频防抖动等

光流法的工作原理基于如下假设：

• 连续的两帧图像之间，目标像素灰度值不变。
• 相邻的像素之间有相似的运动。

数学原理

✔️ 第一帧的像素

，表示在 t 时刻的像素值，那么经过

时间后，像素在下一帧移动的距离为

。基于像素相同，亮度不变，可得：

假设移动很小，使用泰勒公式得：

其中

为无穷小，由第一个假设得：

设

,

,则有得到光流方程为：

其中，

和

分别是图像梯度，

是图像沿着时间的梯度。

✔️ 为了求解未知的

，采用Lucas-Kanada 方法解决,这个算法最早是有Bruce D. Lucas and Takeo Kanade两位作者提出来的，所以又被称为KLT。

KLT算法工作有三个假设前提条件：

• 亮度恒定
• 短距离移动
• 空间一致性

函数

✔️ Opencv中使用cv2.calcOpticalFlowPyrLK()函数计算一个稀疏特征集的光流，使用金字塔中的迭代 Lucas-Kanade 方法。

nextPts,status,err = cv2.calcOpticalFlowPyrLK(prevImg,   #上一帧图片
                                              nextImg,   #当前帧图片
                                              prevPts,   #上一帧找到的特征点向量 
                                              nextPts    #与返回值中的nextPtrs相同
                                              [,