利用opencv库实现LK光流

LK光流

我们做基本假设：同一空间点的像素灰度值，在各个图像中是固定不变的，其在t时刻（x，y）像素处的灰度值 I(x，y，t)。假设某一窗口内的像素具有相同的运动（仅从一个点是看不出来问题的 如下图我们只关注I(3,3) 无法判断它在向下走还是斜着走）。

opencv库用于计算光流的函数：

cv::calcOpticalFlowPyrLK(

const cv::Mat& prevImg, // 前一帧图像，灰度图像

const cv::Mat& nextImg, // 当前帧图像，灰度图像

const std::vector<cv::Point2f>& prevPts, // 前一帧的特征点

std::vector<cv::Point2f>& nextPts, // 输出的当前帧的特征点

std::vector<uchar>& status, // 输出的特征点的状态，表示是否成功跟踪到

std::vector<float>& err, // 输出的特征点的误差

cv::Size winSize = cv::Size(21, 21), // 搜索窗口的大小

int maxLevel = 4, // 金字塔的最大层数

cv::TermCriteria criteria = cv::TermCriteria(cv::TermCriteria::COUNT + cv::TermCriteria::EPS, 30, 0.01), // 终止条件

int flags = 0,

double minEigThreshold = 1e-4

);

编写代码（调用摄像头）：

#include <iostream>
#include <opencv2/opencv.hpp>

int main() {
    cv::VideoCapture cap(0);
    if (!cap.isOpened()) {
        std::cout << "Failed to open the camera." << std::endl;
        return -1;
    }

    cv::Mat frame, grayFrame, prevGrayFrame;
    std::vector<cv::Point2f> prevPoints, nextPoints;
    std::vector<uchar> status;
    std::vector<float> error;
    cv::TermCriteria termcrit(cv::TermCriteria::COUNT | cv::TermCriteria::EPS, 20, 0.03);
    cv::Size winSize(31, 31);

    cap >> frame; // 读第一帧
    cv::cvtColor(frame, prevGrayFrame, cv::COLOR_BGR2GRAY);
    cv::goodFeaturesToTrack(prevGrayFrame, prevPoints, 500, 0.01, 10); // 检测特征点

    while (true) {
        cap >> frame; // 读当前帧
        if (frame.empty())
            break;

        cv::cvtColor(frame, grayFrame, cv::COLOR_BGR2GRAY);
        cv::calcOpticalFlowPyrLK(prevGrayFrame, grayFrame, prevPoints, nextPoints, status, error, winSize, 4, termcrit, 0, 0.001); // 计算光流

        for (size_t i = 0; i < prevPoints.size(); i++) {
            if (status[i]) {
                cv::Point2f p0 = prevPoints[i];
                cv::Point2f p1 = nextPoints[i];
                cv::line(frame, p0, p1, cv::Scalar(0, 0, 255), 2); // 绘制光流轨迹
                cv::circle(frame, p1, 3, cv::Scalar(0, 255, 0), -1); // 绘制特征点
            }
        }

        cv::imshow("LK Optical Flow", frame);
        if (cv::waitKey(1) == 27)
            break;

        std::swap(prevGrayFrame, grayFrame);
        std::swap(prevPoints, nextPoints);
    }

    cap.release();
    cv::destroyAllWindows();

    return 0;
}

实验结果：调用opencv库做LK光流结果（c++ opencv）：左右移动摄像头检测到光流 速度越快 红线越长（光流轨迹）