【opencv学习】光流算法以及物体追踪算法（Lucas-Kanade算法）

正所谓的光流估计，就是在视频的前后帧的分析中，能分析出图中的一些object的移动方向和速度，可以做目标追踪使用。

Lucas-Kanade算法改进
经典的光流估计是Lucas-Kanade 算法，这个算法是基于下列的三个基本假设：
也称之为三个约束。
1：亮度恒定：同一个像素点随着时间的变化，也就是说同一个像素点在位置变化前后的亮度值基本保持不变。
2：小范围运动：随着时间的变化，运动的变化，物体的运动不会产生剧烈的变化。这个情况下，灰度对位置的偏导数就可以近似是
3：空间一致性：一个场景上，相临近的一块小区域内的点在运动变化后也是相临近的。

如上图展示的就是一张图像在时刻t到另一个时刻的某个像素的运动变化情况。

这个不一定可逆啊，什么时候是可逆的呢？可逆的条件是，这个方阵不等于0.
我们回想下之前的角点检测的
1、 在平面处，x的偏导的y的偏导是等于0的。
2、 在直线处，x的偏导的y的偏导有一个是等于0的。
3、 在角点处，x的偏导的y的偏导都变化很大，是有数值的。
这样看来，最有可能在角点处才能有方程的解。因此我们一般都是求角点的前后变化。
那么我们只需要比较前后帧的角点变化来做对比即可得到目标的运动方向。

试验代码如下：

import cv2
import numpy as np

# cap = cv2.VideoCapture("images/kk 2022-01-23 18-21-21.mp4")
cap = cv2.VideoCapture(0)

# 定义角点检测的参数
feature_params = dict(
    maxCorners=100,  # 最多多少个角点
    qualityLevel=0.3,  # 品质因子，在角点检测中会使用到，品质因子越大，角点质量越高，那么过滤得到的角点就越少
    minDistance=7  # 用于NMS，将最有可能的角点周围某个范围内的角点全部抑制
)

# 定义 lucas kande算法的参数
lk_params = dict(
    winSize=(10, 10),  # 这个就是周围点临近点区域的范围
    maxLevel=2  # 最大的金字塔层数
)

# 拿到第一帧的图像
ret, prev_img = cap.read()
prev_img_gray = cv2.cvtColor(prev_img, cv2.COLOR_BGR2GRAY)

# 先进行角点检测，得到关键点
prev_points = cv2.goodFeaturesToTrack(prev_img_gray, mask=None, **feature_params)

# 制作一个临时的画布，到时候可以将新的一些画的先再mask上画出来，再追加到原始图像上
mask_img = np.zeros_like(prev_img)
while True:

    ret, curr_img = cap.read()
    if curr_img is None:
        print("video is over...")
        break
    curr_img_gray = cv2.cvtColor(curr_img, cv2.COLOR_BGR2GRAY)

    # 光流追踪下
    curr_points, status, err = cv2.calcOpticalFlowPyrLK(prev_img_gray,
                                                       curr_img_gray,
                                                       prev_points,
                                                       None,
                                                       **lk_params)
    # print(status.shape)  # 取值都是1/0, 1表示是可以追踪到的，0表示失去了追踪的。
    good_new = curr_points[status == 1]
    good_old = prev_points[status == 1]

    # 绘制图像
    for i, (new, old) in enumerate(zip(good_new, good_old)):
        a, b = new.ravel()
        c, d = old.ravel()

        mask_img = cv2.line(mask_img, pt1=(int(a), int(b)), pt2=(int(c), int(d)), color=(0, 0, 255), thickness=1)
        mask_img = cv2.circle(mask_img, center=(int(a), int(b)), radius=2, color=(255, 0, 0), thickness=2)

    # 将画布上的图像和原始图像叠加，并且展示
    img = cv2.add(curr_img, mask_img)
    cv2.imshow("desct", img)
    if cv2.waitKey(60) & 0xFF == ord('q'):
        print("Bye...")
        break

    # 更新下原始图像，以及重新得到新的点
    prev_img_gray = curr_img_gray.copy()
    prev_points = good_new.reshape(-1, 1, 2)
    if len(prev_points) < 5:
        # 当匹配的太少了，就重新获得当前图像的角点
        prev_points = cv2.goodFeaturesToTrack(curr_img_gray, mask=None, **feature_params)
        mask_img = np.zeros_like(prev_img)  # 重新换个画布

cv2.destroyAllWindows()
cap.release()

效果如下：