深入探讨：Lucas-Kanade 光流法及其应用

最新推荐文章于 2025-02-26 05:15:00 发布

那雨倾城

最新推荐文章于 2025-02-26 05:15:00 发布

阅读量365

点赞数 4

文章标签： opencv 计算机视觉 python 目标检测目标跟踪图像处理

本文链接：https://blog.csdn.net/weixin_43607107/article/details/145800035

版权

在计算机视觉领域，光流法（Optical Flow）用于估计图像序列中物体的运动。其中，Lucas-Kanade 光流法是一种经典且广泛应用的方法，因其高效性和准确性而备受青睐。

一、Lucas-Kanade 光流法原理

Lucas-Kanade 光流法基于以下假设：

亮度恒定假设：相邻帧之间，物体的亮度保持不变。
小位移假设：相邻帧之间，物体的位移较小。
局部平滑假设：在局部邻域内，物体的运动是平滑的，即相邻像素的运动相似。

基于这些假设，Lucas-Kanade 方法通过以下步骤估计光流：

计算图像梯度：计算图像在 x 和 y 方向的梯度，以及时间梯度。
构建光流约束方程：利用图像梯度和时间梯度，建立光流约束方程。
求解光流：通过最小二乘法，求解每个像素的光流矢量。

具体而言，光流约束方程为：

Ixu+Iyv+It=0I_x u + I_y v + I_t = 0Ixu+Iyv+It=0

其中：

IxI_xIx 和 IyI_yIy 分别为图像在 x 和 y 方向的梯度。
ItI_tIt 为图像在时间上的梯度。
uuu 和 vvv 分别为 x 和 y 方向的光流分量。

通过在局部窗口内对上述方程进行求解，可以得到每个像素的光流矢量。这种方法假设在局部区域内，光流是常数，因此适用于小范围内的运动估计。

二、在 OpenCV 中实现 Lucas-Kanade 光流法

OpenCV 提供了 cv2.calcOpticalFlowPyrLK 函数，用于计算稀疏光流。其基本用法如下：

import cv2
import numpy as np

class OpticalFlow:
    def __init__(self):
        # 设置 Lucas-Kanade 光流法的参数
        self.lk_params = dict(winSize=(15, 15),
                              maxLevel=2,
                              criteria=(cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 0.03))
        # 创建随机数生成器
        self.rng = np.random.default_rng()

    def do(self, frame, device):
        # 转为灰度图
        gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

        # 在第一帧中检测角点（角点是光流的起点）
        if not hasattr(self, 'prev_gray'):
            self.prev_gray = gray

            # 使用 goodFeaturesToTrack 来获取角点
            self.prev_points = cv2.goodFeaturesToTrack(gray, 
                                                       maxCorners=99999,    # 最大角点数
                                                       qualityLevel=0.05,  # 角点质量阈值
                                                       minDistance=7,    # 最小角点间距
                                                       blockSize=7)      # 用于计算角点的邻域大小

            # 为每个特征点分配一个唯一的颜色
            self.colors = [tuple(int(c) for c in color) for color in self.rng.integers(0, 256, (len(self.prev_points), 3))]

            return frame

        # 计算光流（在当前帧中跟踪前一帧的角点）
        next_points, status, _ = cv2.calcOpticalFlowPyrLK(self.prev_gray, gray, self.prev_points, None, **self.lk_params)

        # 选出跟踪成功的点
        good_new = next_points[status == 1]
        good_old = self.prev_points[status == 1]

        # 绘制光流轨迹
        for i, (new, old) in enumerate(zip(good_new, good_old)):
            a, b = new.ravel()
            c, d = old.ravel()

            # 获取对应的颜色
            color = self.colors[i]

            frame = cv2.line(frame, (int(a), int(b)), (int(c), int(d)), color, 2)
            frame = cv2.circle(frame, (int(a), int(b)), 5, color, -1)

        # 更新上一帧数据
        self.prev_gray = gray.copy()
        self.prev_points = good_new.reshape(-1, 1, 2)

        return frame

在上述代码中：