qt开发日记 -利用ffmpeg来提取视频流数据

已于 2024-08-10 14:07:14 修改
阅读量680 收藏 19
点赞数 13
文章标签： qt ffmpeg 笔记 学习
于 2024-08-07 21:59:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2303_76910571/article/details/140993444
版权

我们看的电视剧和电影那些都是由看的视频文件，字幕文件以及听的音频文件共同组成。我们可以利用ffmpeg来进行对音视频文件的处理。下面我来讲解一下怎么利用ffmpeg来提取出视频文件。
具体流程图如下：
在这里插入图片描述

1.注册组键

我们通过调用av_register_all()函数来注册muxer（合并文件）和demuxer（muxer的逆过程）。muxer是指将视频文件，字幕文件以及音频文件合并成某一个视频格式。
demuxer是muxer的逆过程，是将某一个视频格式的文件拆分到视频文件，字幕文件和音频文件下。

//1.注册组件
 av_register_all();

2.打开视频文件，获得解码或编码的多媒体格式的上下文对象

我们需要创建一个AVFormatContext类的对象来存储视频文件的信息。

//准备一个AVFormatContext对象
AVFormatContext *pformatCtx = avformat_alloc_context();
//打开对象
int res = avformat_open_input(&pformatCtx, "../video/Warcraft3_End.avi", nullptr, nullptr);
if(res != 0)
{
    qDebug() << "avformat_open_input error";
    return 0;
}
qDebug() << "avformat_open_input ok";

1.avformat_alloc_context 是 FFmpeg 库中用于分配和初始化 AVFormatContext 结构的函数
2.AVFormatContext 是一个非常重要的结构体，包含了媒体文件或媒体流的格式信息和输入输出的上下文
3.在 FFmpeg 中，“上下文”通常指的是 AVFormatContext、AVCodecContext、AVIOContext 等结构体。这些结构体包含了处理多媒体数据所需的所有信息和状态。
AVFormatContext：
包含了输入或输出多媒体文件的格式信息。
记录了文件或流的整体信息，如流的数量、类型、编解码器、时长等。
用于管理文件或流的读取和写入操作。
AVCodecContext：
包含了编解码器的相关信息和状态。
记录了编解码器的参数，如比特率、分辨率、帧率等。
用于处理具体的编码或解码操作。
AVIOContext：
包含了输入输出操作的状态和缓冲区信息。
管理底层的 I/O 操作，如文件读写、网络流读取等。
4.avformat_open_input 是 FFmpeg 库中的一个函数，用于打开一个输入媒体文件或媒体流，并将其与指定的 AVFormatContext 关联起来。这是处理媒体文件或流的第一步，通常在调用 avformat_find_stream_info 获取流信息之前使用。（即将对应的媒体文件信息与AVFormatContext 对象产生关联）
avformat_open_input 是 FFmpeg 中用于打开输入媒体文件或流的关键函数，通过它可以初始化并填充 AVFormatContext 结构体，为后续的媒体处理操作做准备。了解其参数和使用方法对于有效使用 FFmpeg 处理多媒体数据至关重要。

3.从AVFormatContext解析出流媒体信息

res = avformat_find_stream_info(pformatCtx, nullptr);
if(res != 0)
{
    qDebug() << "avformat_find_stream_info error";
    return 0;
}
qDebug() << "avformat_find_stream_info ok";

avformat_find_stream_info 是 FFmpeg 库中的一个函数，用于分析并填充 AVFormatContext 结构体中的流信息。在成功打开媒体文件或流之后，调用此函数可以获取文件或流中的详细信息，如视频和音频流的编解码器参数、时间基准、比特率等。

4.从流信息中取出视频流

int videoIndex = -1;//用于保存视频流对应的下标
//pformatCtx->nb_streams流的数量
for(int i = 0; i < pformatCtx->nb_streams; ++i)
{
    if(pformatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO)
    {
        videoIndex = i;
        break;
    }
}
if(videoIndex == -1)
{
    qDebug() << "gain video stream error";
    return 0;
}
qDebug() << "gain video stream success" << "下标:" << videoIndex;

5.获取合适的编解码器

AVCodecContext *pcodecCtx = pformatCtx->streams[videoIndex]->codec;
    AVCodec *decoder = avcodec_find_decoder(pcodecCtx->codec_id);
    if(decoder == nullptr)
    {
        qDebug() << "not find suitable decoder";
        return 0;
    }
    qDebug() << "can find suitable decoder";

AVCodec 是 FFmpeg 库中用于表示编解码器（encoder/decoder）的结构体。编解码器是负责将数据编码成某种格式或从某种格式解码数据的软件组件。

6.打开编码器

res = avcodec_open2(pcodecCtx, decoder, nullptr);
if(res != 0)
{
    qDebug() << "open decoder error";
    return 0;
}
qDebug() << "open decoder success";

7.解码(从视频码流中提取一帧帧的原始像素信息)

FILE *fp = fopen("../video/temp.h264", "wb");
AVPacket *pkt = (AVPacket *)malloc(sizeof(AVPacket));
//从上下文容器中读取一帧帧的视频流数据保存到pkt中
//初始化AVFrame 需要两个 一个是压缩的图像码流 第二个是解压后的图像码流(去除无用像素信息)
AVFrame *picture = av_frame_alloc();//用于保存压缩的图像码流信息
AVFrame *rgbPicture = av_frame_alloc();//用于保存解压后的图像码流信息
//初始化格式
picture->width = pcodecCtx->width;
picture->height = pcodecCtx->height;
picture->format = pcodecCtx->pix_fmt;
rgbPicture->width = pcodecCtx->width;
rgbPicture->height = pcodecCtx->height;
rgbPicture->format = pcodecCtx->pix_fmt;

//获取最终要生成的每一张图片的尺寸
int numbyte = avpicture_get_size(AV_PIX_FMT_RGB32, picture->width, picture->height);
//创建图片缓冲区
uint8_t *buffer = (uint8_t *)av_malloc(numbyte * sizeof (uint8_t));
//初始化图片，用于保存最终生成的图片
avpicture_fill((AVPicture*)rgbPicture, buffer, AV_PIX_FMT_RGB32,
               pcodecCtx->width, pcodecCtx->height);
//设置过滤规则（转置）
SwsContext *swsCtx = sws_getContext(pcodecCtx->width, pcodecCtx->height, pcodecCtx->pix_fmt,
                                   pcodecCtx->width, pcodecCtx->height, AV_PIX_FMT_RGB32,
                                   SWS_BICUBIC, nullptr, nullptr,nullptr);
int count = 0;
char imgPath[256] = { 0 };
while(av_read_frame(pformatCtx, pkt) == 0)
{
    if(pkt->stream_index == videoIndex)//判断本帧是否为视频数据流
    {
        fwrite(pkt->data, pkt->size, 1, fp);//将一帧的码流数据写入文件
        //让每帧画面转换原始像素图片，在Qt窗口中展示
        int got_picture_ptr = -1;//操作的状态信息 不为0表示解码成功
        //从一帧视频码流信息中解析出图像信息
        avcodec_decode_video2(pcodecCtx, picture, &got_picture_ptr, pkt);
        if(got_picture_ptr != 0)//解码成功
        {
            //剔除图像中的无效信息，生成最终的原始图像
            sws_scale(swsCtx, picture->data, picture->linesize,0, picture->height,
                      rgbPicture->data, rgbPicture->linesize);
            ++count;
            //将图片转存到QImage中
            QImage img = QImage((uchar*)buffer, pcodecCtx->width, pcodecCtx->height,
                                QImage::Format_RGB32);
            sprintf(imgPath, "../image/img%d.jpg",count);
            //保存成图片文件
            img.save(imgPath);
        }
    }
}
fclose(fp);
qDebug() << "decoder is finish";

AVPacket 是 FFmpeg 库中的一个结构体，用于存储压缩编码的数据（packet）。
主要作用：
存储压缩数据：AVPacket 用于存储从多媒体文件或流中读取的压缩数据，或者即将写入多媒体文件或流的压缩数据。
传递数据：它在解码和编码过程中用来传递数据，例如从解码器中接收压缩数据，然后将其传递给解码器，或者从编码器中接收已编码的数据并传递给输出文件或流。

AVFrame 是 FFmpeg 库中的一个结构体，用于存储解码后的原始音视频数据。它在音视频处理过程中扮演着关键角色，尤其是在解码、编码、过滤和显示数据时。
主要作用：
存储解码数据：AVFrame 用于存储从压缩数据包（AVPacket）解码后的原始数据。
传递数据：在解码器、编码器和过滤器之间传递原始数据。

avpicture_get_size 是 FFmpeg 库中用于计算图像数据大小的一个函数。

avpicture_fill 是 FFmpeg 库中的一个函数，用于将图像数据指针和缓冲区链接到一个 AVPicture 结构体

SwsContext 是 FFmpeg 库中用于图像缩放和像素格式转换的结构体。它在图像处理过程中起着关键作用，特别是在视频处理、编辑和转码中。通过配置和使用 SwsContext，可以高效地在不同的分辨率和像素格式之间进行转换。

sws_getContext 是 FFmpeg 库中用于创建和初始化图像缩放和像素格式转换上下文的函数。这个上下文由 SwsContext 结构体表示，用于在不同像素格式、大小和色彩空间之间进行转换。

sws_scale 是 FFmpeg 库中的一个函数，用于在图像缩放和像素格式转换过程中进行实际的处理操作。它依赖于之前通过 sws_getContext 创建和初始化的 SwsContext 结构体。sws_scale 将源图像数据转换为目标图像数据，执行的操作包括尺寸调整和像素格式转换。
主要作用：
图像缩放：将图像从一种分辨率缩放到另一种分辨率。
像素格式转换：将图像从一种像素格式转换为另一种像素格式。

结尾

至此我们将一个视频的视频流提取出来放入了img文件夹中。完整代码如下：

#include "cwidget.h"
#include <QApplication>
#include <QDebug>
#include <QImage>
// extern "C"是为了实现类C和C++的混合编程
// 因为ffmpeg是用C写的，故而在C++引入ffmpeg的C函数库需加此声明
extern "C"
{
    #include "libavcodec/avcodec.h"     //编解码库
    #include "libavdevice/avdevice.h"   //输入输出设备库；读取摄像头的
    #include "libavfilter/avfilter.h"   //音视频滤镜库；进行音视频处理与编辑
    #include "libavformat/avformat.h"   //文件格式和协议库
    #include "libavutil/avutil.h"       //音视频处理
    #include "libswresample/swresample.h"   //音频重采样
    #include "libswscale/swscale.h"     //图像进行格式转换
}

int main(int argc, char *argv[])
{
    QApplication a(argc, argv);
    //1.注册组件
    av_register_all();
    /*2.打开视频文件，获得解码或编码的多媒体格式的上下文对象
     * AVFormatContext用来保存视频信息的核心对象*/
    //准备一个AVFormatContext对象
    AVFormatContext *pformatCtx = avformat_alloc_context();
    //打开对象
    int res = avformat_open_input(&pformatCtx, "../video/Warcraft3_End.avi", nullptr, nullptr);
    if(res != 0)
    {
        qDebug() << "avformat_open_input error";
        return 0;
    }
    qDebug() << "avformat_open_input ok";
    //3.从AVFormatContext解析出流媒体信息
    res = avformat_find_stream_info(pformatCtx, nullptr);
    if(res != 0)
    {
        qDebug() << "avformat_find_stream_info error";
        return 0;
    }
    qDebug() << "avformat_find_stream_info ok";
    //4.从流信息中取出视频流
    int videoIndex = -1;//用于保存视频流对应的下标
    //pformatCtx->nb_streams流的数量
    for(int i = 0; i < pformatCtx->nb_streams; ++i)
    {
        if(pformatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO)
        {
            videoIndex = i;
            break;
        }
    }
    if(videoIndex == -1)
    {
        qDebug() << "gain video stream error";
        return 0;
    }
    qDebug() << "gain video stream success" << "下标:" << videoIndex;
    //5.获取合适的编解码器
    AVCodecContext *pcodecCtx = pformatCtx->streams[videoIndex]->codec;
    AVCodec *decoder = avcodec_find_decoder(pcodecCtx->codec_id);
    if(decoder == nullptr)
    {
        qDebug() << "not find suitable decoder";
        return 0;
    }
    qDebug() << "can find suitable decoder";
    //6.打开解码器
    res = avcodec_open2(pcodecCtx, decoder, nullptr);
    if(res != 0)
    {
        qDebug() << "open decoder error";
        return 0;
    }
    qDebug() << "open decoder success";
    //7.解码(从视频码流中提取一帧帧的原始像素信息)
    FILE *fp = fopen("../video/temp.h264", "wb");
    AVPacket *pkt = (AVPacket *)malloc(sizeof(AVPacket));
    //从上下文容器中读取一帧帧的视频流数据保存到pkt中
    //初始化AVFrame 需要两个 一个是压缩的图像码流 第二个是解压后的图像码流(去除无用像素信息)
    AVFrame *picture = av_frame_alloc();//用于保存压缩的图像码流信息
    AVFrame *rgbPicture = av_frame_alloc();//用于保存解压后的图像码流信息
    //初始化格式
    picture->width = pcodecCtx->width;
    picture->height = pcodecCtx->height;
    picture->format = pcodecCtx->pix_fmt;
    rgbPicture->width = pcodecCtx->width;
    rgbPicture->height = pcodecCtx->height;
    rgbPicture->format = pcodecCtx->pix_fmt;

    //获取最终要生成的每一张图片的尺寸
    int numbyte = avpicture_get_size(AV_PIX_FMT_RGB32, picture->width, picture->height);
    //创建图片缓冲区
    uint8_t *buffer = (uint8_t *)av_malloc(numbyte * sizeof (uint8_t));
    //初始化图片，用于保存最终生成的图片
    avpicture_fill((AVPicture*)rgbPicture, buffer, AV_PIX_FMT_RGB32,
                   pcodecCtx->width, pcodecCtx->height);
    //设置过滤规则（转置）
    SwsContext *swsCtx = sws_getContext(pcodecCtx->width, pcodecCtx->height, pcodecCtx->pix_fmt,
                                       pcodecCtx->width, pcodecCtx->height, AV_PIX_FMT_RGB32,
                                       SWS_BICUBIC, nullptr, nullptr,nullptr);
    int count = 0;
    char imgPath[256] = { 0 };
    while(av_read_frame(pformatCtx, pkt) == 0)
    {
        if(pkt->stream_index == videoIndex)//判断本帧是否为视频数据流
        {
            fwrite(pkt->data, pkt->size, 1, fp);//将一帧的码流数据写入文件
            //让每帧画面转换原始像素图片，在Qt窗口中展示
            int got_picture_ptr = -1;//操作的状态信息 不为0表示解码成功
            //从一帧视频码流信息中解析出图像信息
            avcodec_decode_video2(pcodecCtx, picture, &got_picture_ptr, pkt);
            if(got_picture_ptr != 0)//解码成功
            {
                //剔除图像中的无效信息，生成最终的原始图像
                sws_scale(swsCtx, picture->data, picture->linesize,0, picture->height,
                          rgbPicture->data, rgbPicture->linesize);
                ++count;
                //将图片转存到QImage中
                QImage img = QImage((uchar*)buffer, pcodecCtx->width, pcodecCtx->height,
                                    QImage::Format_RGB32);
                sprintf(imgPath, "../image/img%d.jpg",count);
                //保存成图片文件
                img.save(imgPath);
            }
        }
    }
    fclose(fp);
    qDebug() << "decoder is finish";

    return a.exec();
}
励志成为编程高手
关注
  • 13
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
QT软件开发-基于FFMPEG设计视频播放器-流媒体播放器（五）
09-18 1455
这篇文章是第（四）章节的例子上增加流媒体协议播放支持，支持rtmp、rtsp、HLS(HTTP协议)等常见的流媒体格式支持，利用ffmpeg的硬件加速接口完成视频解码，支持探测当前硬件支持的加速方式，通过QOpenGLWidget渲染解码的图像数据。
QT软件开发-基于FFMPEG设计视频播放器-GPU硬解、OpenGL渲染、解码音频完整例子（六）
09-18 1992
前面章节编写的例 子都是独立的，没有结合在一起，当前这篇文章是将前面的几个例子结合在一起，完成一个完整的播放器Demo开发。支持硬件加速解码视频帧、通过OpenGL渲染；解码音频帧、通过QAudioOutput播放音频。支持本地视频文件播放，支持流媒体地址播放。例如：rtmp、rtsp、hls、http等等协议。支持进度条跳转（实时直播流不支持的）、进度条显示，总时间显示，视频基本信息显示，基本上完成一个播放器的基础功能。
Qt+FFmpeg仿VLC接收RTSP流并播放
m0_73443478的博客
12-25 1279
Qt+FFmpeg仿VLC接收RTSP流并播放
ffmpeg提取视频流
04-11
ffmpeg 提取视频文件流，生成ppm文件，该工程已经包含 。头文件/LIB/DLL文件等。可直接使用
Qt与FFmpeg联合开发指南（一）——解码（1）：功能实现
weixin_30924087的博客
04-29 391
前言：对于从未接触过音视频编解码的同学来说，使用FFmpeg的学习曲线恐怕略显陡峭。本人由于工作需要，正好需要在项目中使用。因此特地将开发过程总结下来。只当提供给有兴趣的同学参考和学习。 由于FFmpeg是使用C语言开发，所有和函数调用都是面向过程的。以我目前的学习经验来说，通常我会把一个功能的代码全部放在main函数中实现。经过测试和修改认为功能正常，再以C++面向对象的方式逐步将代码分解和封...
ffmpeg笔记_视频抽取
Lee notes
11-18 302
mp4 > h264 #include <stdio.h> #include <libavutil/log.h> #include <libavformat/avio.h> #include <libavformat/avformat.h> #ifndef AV_WB32 # define AV_WB32(p, val) do { \ uint32_t d = (val);
FFmpeg_12_流数据方式提取视频流
08-06
FFmpeg系列，之前有发过一部分，但并未系列总结性将功能展现，目前按序号，将常用的发上来，VC2010环境下
ffmpeg 读取视频流
weixin_43883907的博客
07-29 664
ffmpeg -re -i MP4 -vcodec copy -acodec aac -ar 44100 -strict -2 -ac 1 -f flv -s 1920x1080 -q 10 rtmp://url ffmpeg -re -i MP4 -vcodec h264 -acodec aac -strict -2 -f rtsp -rtsp_transport tcp rtsp://url ffmpeg -i rtsp -vcodec copy -acodec c
基于qt+ffmpeg设计的推流软件(支持rtsp.rtmp)(推流桌面与摄像头)
11-03
这是Qt设计的推流软件，核心全部由ffmpeg实现，QT只是做了个界面没有做其他重要的事情。如果要利用ffmpeg开发推流软件，这个一份必看的好东西。目前实现了桌面捕获、摄像头捕获推流，全部由ffmpeg的API实现。
QT软件开发-基于FFMPEG设计视频播放器-软解图像（一）
09-13 4709
为了能简单快速的介绍ffmpeg使用，这里连续通过几篇文章，编写几个案例来循序渐进的演示ffmpeg的用法，最终完成一个完整的播放器开发，不涉及理论知识（理论知识网上太多了），主要是以代码、以实现功能为主。
Qt+FFMPEG 实现简单的视频播放器
11-28
这是Qt的工程，建议使用Qt Creator 打开 从零开始学习音视频编程技术（二十二） 录屏软件开发之BUG修复 FFMPEG的版本是2.5.2 SDL的版本是2.04 记得将ffmpeg/bin目录下的dll文件拷贝到编译生成的exe所在的目录下，否则会无法运行。
Qt OpenCV 播放及Socket发送视频流
05-29
博客地址：https://blog.csdn.net/qq_18286031/article/details/79972702 可以加群460952208一起学习
基于Qt和ffmpeg实现视频播放
06-02
基于Qt和ffmpeg实现视频播放，根据PaintEvent事件处理函数不停在组件中绘制视频帧数据
Qt+FFMPEG解码视频并显示
09-07
是一个Windows下使用FFMPEG解码视频 并使用QPaint绘制到QWidget上 FFMPEG的版本是2.5.2 记得将ffmpeg/bin目录下的dll文件拷贝到编译生成的exe所在的目录下，否则会无法运行。 关于代码的解释 请参考： http://blog.yundiantech.com/?log=blog&id=9
QT软件开发-基于FFMPEG设计视频播放器-GPU硬解图像（二）
09-13 1535
在前一章里介绍了ffmpeg基本概念，完成了ffmpeg对视频软件解码并渲染，实现了基本播放器功能设计。 这篇文章介绍ffmpeg硬件加速解码视频的流程，完成基本播放器设计。
Qt/C++音视频开发01-共享解码线程（耗时一年/性能凶残/至臻完美）
Qt/C++视频监控/推流/物联网/大屏系统/自定义控件/UI定制/输入法
11-06 2848
大概在8年前就开始用ffmpeg做视频解码的显示，第一个版本就100行代码左右，功能极其简单，就是开个线程解码视频流转成图片发给主界面绘制。时间过得真快，从当初的一胎到现在二胎都上学了三胎计划中。
Qt5 + FFmpeg
最新发布
ever__ever的博客
01-26 888
Qt5 + FFmpeg实现拉流，直播视频播放
QT 使用FFmpeg API实现简易播放器
a3029537的专栏
04-19 3436
开发环境:MinGw730+QT5.14.2+FFMPEG20220422 一、开发环境搭建 （1）FFMPEG源码编译见 windows 使用qt mingw730_64 编译ffmpeg_炽旗7的博客-CSDN博客 （2）添加库 在qt工程目录底下新建ffmpeg目录，将FFMPEG源码编译后生成的inlude、lib文件夹及内容拷贝到ffmpeg底下 在新建的QT工程的pro文件添加lib目录及lib目录。 INCLUDEPATH += "ffmpeg/include" LIBS +=
qt-faststart ffmpeg
01-06
qt-faststart是一个用于快速开始（faststart）视频文件的工具，它是由ffmpeg项目提供的一个用于MP4文件的辅助工具。它的作用是重新排列一个MP4文件的数据，以便让视频文件在网络上进行逐行传输时能够更快地开始播放，而不需要等待整个文件全部下载完成。 当我们使用ffmpeg来处理视频文件时，通常会生成一个MP4格式的文件。但是在生成的MP4文件中，视频数据和音频数据并不是按照播放顺序来排列的，而是按照存储顺序来排列的。这就意味着，当用户想要在网络上播放这个视频文件时，必须等待整个文件下载完成才能开始播放。 qt-faststart的作用就是通过重新排列MP4文件中数据的方式来实现快速播放，它将把视频文件的moov atom box（包含视频和音频的元数据）移到文件的起始位置，这样在网络上传输时能够更快地开始播放。通过使用qt-faststart，我们可以大大减少用户在网络上观看视频时的等待时间，提升用户的观看体验。 总之，qt-faststart是一个非常实用的工具，它能够帮助我们优化MP4视频文件，让用户能够更快地开始观看视频，提升用户体验。它是ffmpeg项目的一个很好的补充，可以帮助我们更好地处理和优化视频文件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值