opencv 视频处理

概述

        OpenCV 的视频模块是其核心组成部分之一，主要负责视频文件的读取、处理、分析以及视频流的捕获和输出。这一模块使得开发者能够轻松地处理来自摄像头、文件或其他视频源的视频数据，进行实时或离线的图像处理和计算机视觉任务。以下是 OpenCV 视频模块的一些关键组件和功能简介：

1. cv::VideoCapture 类

• 功能：用于从摄像头或视频文件中捕获视频帧。通过传递设备索引或视频文件路径给构造函数，可以创建一个 VideoCapture 对象。之后，可以通过 read() 方法逐帧读取视频。
• 属性获取：可以获取视频的帧率 (CAP_PROP_FPS)、帧大小 (CAP_PROP_FRAME_WIDTH, CAP_PROP_FRAME_HEIGHT) 等属性。
• 视频来源：支持多种视频源，包括本地文件（如 .mp4, .avi 等）和网络摄像头。

2. cv::VideoWriter 类

• 功能：用于将处理后的视频帧写入视频文件。可以指定输出文件名、编码器、帧率和帧大小。
• 编码器选择：通过 fourcc 参数指定编码器（例如，cv::VideoWriter::fourcc('M','J','P','G') 对应于 MJPG 编码）。
• 视频输出：支持多种视频格式，但实际可用的编码器和格式依赖于系统安装的 FFmpeg 或其他后端库。

3. 实时视频处理

• 帧处理：读取的每一帧都可以通过 OpenCV 提供的各种图像处理函数进行处理，如色彩空间转换、滤波、边缘检测、特征提取等。
• 实时应用：结合高效的算法，可以实现实时的视频监控、人脸识别、物体追踪等应用。

4. 视频分析

• 运动检测：基于帧差法、背景减除等技术，可以识别视频中的运动区域。
• 目标跟踪：实现对特定目标的连续帧间跟踪，如卡尔曼滤波器、光流法、深度学习跟踪器等。
• 场景解析：进行场景分割、行为识别等高级视频理解任务。

5. 后端支持与兼容性

• FFmpeg集成：OpenCV 可以利用 FFmpeg 库来支持更广泛的视频格式和编解码器，提升兼容性和性能。
• 跨平台：OpenCV 的视频模块设计为跨平台，支持 Windows、Linux、macOS 等操作系统，但具体功能和性能可能会因操作系统和后端库的差异而有所不同。

6. 性能优化

• 多线程和硬件加速：虽然 OpenCV 自身不直接提供多线程视频处理功能，但开发者可以通过多线程技术并结合硬件加速（如利用 CUDA、OpenCL 或 FFmpeg 的 GPU 解码）来提升视频处理的效率。

实现原理

         接口上opencv支持cv::VideoCapture、cv::VideoWriter两个接口来处理视频，后端则支持多种框架，一般默认使用的ffmpeg作为后端处理。

通过cmake-gui 查看参数配置

生成的信息查看ffmpeg信息

你也可以通过代码查看后端类型

cv::VideoCapture cap(videoFileName);
std::cout << "BackendName" << cap.getBackendName() << std::endl;

使用示例

打开默认摄像头

//declare a capture object
cv::VideoCapture cap(0, cv::CAP_MSMF);
//or specify the apiPreference with open
cap.open(0, cv::CAP_MSMF);

打开视频文件

//declare a capture object
cv::VideoCapture cap(filename, cv::CAP_MSMF);
//or specify the apiPreference with open
cap.open(filename, cv::CAP_MSMF);

处理视频流

    cv::VideoCapture cap(videoFileName); // 替换为你的视频文件路径
    if (!cap.isOpened()) {
        std::cout << "无法打开视频文件" << std::endl;
        return ;
    }
    
    auto frameCount = cap.get(cv::CAP_PROP_FRAME_COUNT);
    while (true) {
        cv::Mat frame;
        if(!cap.read(frame))
        {
            break;
        }
        // do ......
        
    } 
    cap.release();

视频播放

#include <opencv2/opencv.hpp>
#include <iostream>

int main(int argc, char** argv)
{
    // 检查是否有视频文件作为参数传入
    if (argc != 2)
    {
        std::cout << "Usage: " << argv[0] << " <video_file_path>" << std::endl;
        return -1;
    }

    // 使用视频文件路径初始化VideoCapture对象
    cv::VideoCapture cap(argv[1]);
    if (!cap.isOpened())
    {
        std::cout << "Error opening video file" << std::endl;
        return -1;
    }

    // 获取视频的帧率
    double fps = cap.get(cv::CAP_PROP_FPS);
    if (fps <= 0)
    {
        fps = 30; // 如果无法获取帧率，默认设为30
    }

    // 创建一个窗口用于显示视频
    cv::namedWindow("Video Player", cv::WINDOW_NORMAL);

    cv::Mat frame;
    while (true)
    {
        // 读取下一帧
        if (!cap.read(frame))
        {
            // 如果没有更多帧，跳出循环
            break;
        }

        // 显示当前帧
        cv::imshow("Video Player", frame);

        // 按任意键退出，或者根据fps控制播放速度
        if (cv::waitKey(1000 / fps) >= 0)
        {
            break;
        }
    }

    // 释放资源并关闭窗口
    cap.release();
    cv::destroyAllWindows();

    return 0;
}

对ffmpeg进行特殊处理

        可以设置环境变量OPENCV_FFMPEG_WRITER_OPTIONS、OPENCV_FFMPEG_CAPTURE_OPTIONS传递附加参数。

参数格式：key;value|key;value|key;valuehwaccel;cuvid|video_codec;h264_cuvid|vsync;0vcodec;x264|vprofile;high|vlevel;4.0

OPENCV_FFMPEG_WRITER_OPTIONS 是一个环境变量，用于传递给 OpenCV 的 FFmpeg 视频写入器（VideoWriter）的特定选项。这些选项可以影响视频编码、质量、格式等。该环境变量的值是一个字符串，通常以分号(;)分隔不同的选项键值对。

每个键值对的格式通常是 key;value，其中 key 是选项的名称，value 是对应的值。例如：

• video_codec;h264：指定视频编码器为 H.264。
• audio_codec;aac：指定音频编码器为 AAC。
• bit_rate;1000000：设置比特率为 1000000 bps。
• preset;slow：设置编码预设，如 slow、medium 或 fast，这会影响编码速度和质量。
• crf;23：设置恒定速率因子（Constant Rate Factor），影响视频质量。

请注意，不是所有的 FFmpeg 选项都适用于 OPENCV_FFMPEG_WRITER_OPTIONS，因为 OpenCV 的 VideoWriter 类可能只支持 FFmpeg API 的一部分。此外，可用的选项可能因 OpenCV 版本和 FFmpeg 版本的不同而不同。在使用时，建议查阅 OpenCV 和 FFmpeg 的官方文档以获取最新和最准确的信息。