opencv(53) 视频处理之三：光流估计

光流是空间运动物体在观测成像平面上的像素运动的“瞬时速度”，根据各个像素点的速度矢量特征，可以对图像进行动态分析，例如目标跟踪。

1 方法介绍

光流估计的前提

光流估计需要满足一定前提，

1. 亮度恒定：同一点随着时间的变化，其亮度不会发生改变。
2. 小运动：随着时间的变化不会引起位置的剧烈变化，只有小运动情况下才能用前后帧之间单位位置变化引起的灰度变化去近似灰度对位置的偏导数。
3. 空间一致：一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一致。因为光流法基本方程约束只有一个，而要求x，y方向的速度，有两个未知变量。所以需要连立n多个方程求解。

如果下面这辆车正向我们缓缓开来，右图是车辆的光流，它代表车辆在行驶过程中，每一帧图像的瞬时速度和方向。箭头的大小表示移动的瞬时速度，箭头的方向代表前进的目标方向。可以获取车辆每一帧的位置，对它进行跟踪。

Lucas-Kanade算法

约束方程：

令dt=1 ：

根据空间一致性定理，临近点速度一致，假如我再设一个方程组来求解u和v。设A点和B点临近，则有 ：

现在就是两个未知数两个方程。

通常用一个窗口来求解方程，如果使用一个5*5的窗口，就有25对，2个未知数，使用最小二乘法。

最小二乘法：

 

在做光流估计时，输入数据应该是角点，一般图像上只有角点的数据是可逆的

2 相关函数

函数原型：cv2.calcOpticalFlowPyrLK(prevImage,nextImage,prevPts,winSize,maxLevel)

参数：

1. prevImage 前一帧图像
2. nextImage 当前帧图像
3. prevPts 待跟踪的特征点向量
4. winSize 搜索窗口的大小
5. maxLevel 最大的金字塔层数

返回值：

1. nextPts 输出跟踪特征点向量
2. status 特征点是否找到，找到的状态为1，未找到的状态为0

3 示例：捕捉目标运动的轨迹，并在视频上显示出运动轨迹

import cv2
import numpy as np

# 1 获取数据
filepath = 'C:\\Users\\admin\\.spyder-py3\\test\\opencv\\img\\class'
#video = cv2.VideoCapture(filepath + '\\test.avi')
video = cv2.VideoCapture(0) #若没有测试文件，可用当前摄像头
# 获取第一帧图像
ret,frame_one = video.read()
gray_one = cv2.cvtColor(frame_one,cv2.COLOR_BGR2GRAY) #变成灰度图
# 角点检测，参数：输入图像，角点最大数量，品质因子，距离
p0 = cv2.goodFeaturesToTrack(gray_one, mask=None, maxCorners=100, qualityLevel=0.3, minDistance=7)
 
# 创建一个mask
mask = np.zeros_like(frame_one) # 全0的画板，size和第一帧图像一样大

# 轨迹线条颜色随机,[0,255)之间,输出size为(100,3)，三列对应颜色BGR
color = np.random.randint(0,255,(100,3))
 
# 2 视频处理
while True:
    ret,frame = video.read() # 返回是否打开和每一帧的结果
    frame_gray = cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY)
    # 光流估计，需要传入前一帧和当前图像以及前一帧检测到的角点
    # gray_one代表前一帧，frame_gray当前帧图像，p0前一帧的角点，winSize窗口大小，maxLevel金字塔层数
    p1,st,err = cv2.calcOpticalFlowPyrLK(gray_one, frame_gray, p0, None,winSize=(15,15),maxLevel=2)
    # p1返回角点，st有些角点找到了有些没找到，err错误状态，用不上
    
    # st==1  角点找到了
    best_new = p1[st==1] # 当前帧，所有找到的角点
    best_old = p0[st==1] # 前一帧的角点
    
    # 绘制轨迹
    for i,(new,old) in enumerate(zip(best_new,best_old)): # 返回角点的下标和值
        a,b = new.ravel()  # 拉成一维，a等于x列，b等于y列
        c,d = old.ravel()
        a,b,c,d = np.array([a,b,c,d]).astype('int32') #输入的数据类型是整型
        # 背景图mask，起点坐标(a,b)，终点坐标(c,d)，变成列表列格式tolist()，线宽为2
        mask = cv2.line(mask, (a,b), (c,d), (color[i].tolist()), 2)
        # 画板frame，圆心位置(a,b)，圆半径5，'-1'代表实心圆
        frame = cv2.circle(frame,(a,b),5,color[i].tolist(),-1)
    # 图像叠加
    img = cv2.add(frame,mask)
    
    # 图像展示
    cv2.imshow('img',img)
    k = cv2.waitKey(150) & 0xff # 每张图停留150毫秒后消失
    if k == 27:  # ESC键退出
        break
    if k == 32:  #32代表空格键，暂停
        cv2.waitKey(0)
        continue    
    # 更新
    gray_one = frame_gray.copy() # 使下一次循环的前一帧变成当前帧图像
    p0 = best_new.reshape(-1,1,2) # -1的作用在于自动计算
# 释放资源
cv2.destroyAllWindows()
video.release()