【FFmpeg+Qt开发】解码流程 详细分析+代码示例_qt ffmpeg(1)

最新推荐文章于 2024-07-18 13:53:19 发布
最新推荐文章于 2024-07-18 13:53:19 发布
阅读量683 收藏 18
点赞数 25
分类专栏： 2024年程序员学习 文章标签： 物联网 嵌入式硬件 面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85014073/article/details/138932561
版权

收集整理了一份《2024年最新物联网嵌入式全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升的朋友。
img
img

如果你需要这些资料，可以戳这里获取

需要这些体系化资料的朋友，可以加我V获取：vip1024c （备注嵌入式）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人

都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

  1. 注册所有的组件  av_register_all()
  2. 打开视频文件  avformat_open_input()  有可能打开失败
  3. 获取视频信息 视频码流、音频码流、文字码流
  4. 查找流信息  avformat_find_stream_info()
  5. 找到解码器  avcodec_find_decoder()  有可能没找到
  6. 打开解码器 avcodec_open2()
  7. 读取码流中的一帧码流数据  av_read_frame()
  8. 解码读到一帧码流数据 得到一帧的像素数据  YUV RGB
  9. 重复7-8的动作直到视频所有的帧都处理完
  10. 关闭解码器
  11. 关闭视频文件

🔴解码过程中几个重要的结构体：

  • AVFormatContext

封装格式上下文结构体，也是统领全局的结构体，保存了视频文件封装格式相关信息。

  • AVInputFormat//AVOutpufFormat

每种封装格式（例如FLV, MKV, MP4, AVI）对应一个该结构体。

  • AVStream

视频文件中每个视频（音频）流对应一个该结构体。

  • AVCodecContext

编码器上下文结构体，保存了视频（音频）编解码相关信息。

  • AVCodec

每种视频（音频）编解码器(例如H.264解码器)对应一个该结构体。

  • AVPacket

存储一帧压缩编码数据。

  • AVFrame

存储一帧解码后像素（采样）数据。

2.2解码示例

🟢解码类的定义：

//ffmpeg使用c语言实现的，引入用c写的代码就要用extern
extern "C"   
{
#include <libavcodec/avcodec.h>   //编码
#include <libavdevice/avdevice.h>  
#include <libavformat/avformat.h>  //封装格式处理
#include <libavutil/error.h>  
#include <libswscale/swscale.h>  //像素处理
#include <libswresample/swresample.h>  //缩放
}
class fdecode
{
public:
    fdecode();
    //注册组件
    void registerFFmpeg();
    //打开视频流
    void openVIdeoStream(QString filename);
    //视频名称
    QString filename;
protected:
private:
};

具体实现如下：

🟢注册所有组件

void fdecode::registerFFmpeg()
{
    //注册所有的组件
    av_register_all();
}

🟢打开视频文件

    AVFormatContext *forContent;//用来保存视频相关信息的结构体
    forContent=avformat_alloc_context();//分配空间

    //打开视频文件
    int res=avformat_open_input(&forContent,filename.toStdString().c_str(),nullptr,nullptr);
    if(res!=0)//判断是否打开视频文件
    {
        qDebug()<<"无法打开视频文件";
        return;
    }

🟢****获取视频文件信息

    //打开视频文件成功，获取文件信息
    res = avformat_find_stream_info(forContent,nullptr);//查看有没有相关视频流信息
    if(res<0)
    {
        qDebug()<<"没有流媒体信息"<<endl;
        return;
    }

    //一个视频流有多股码流，存在forContentext中streams数组中
    int videoType=-1;
    //nb_streams代表封装格式里面的结构体信息有几个，正常两个：音频信息、视频信息
    for(int i=0;i<forContent->nb_streams;i++) //i小于流的个数
    {
        if(forContent->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO)//视频流
        {
            videoType=i;//标识类型
            break;
        }
    }
    //判断是否有视频流信息
    if(videoType==-1)
    {
        qDebug()<<"没有视频流相关信息"<<endl;
        return;
    }

🟢****根据编解码上下文中的编码ID查找对应解码器

    //编解码器对应的上下文对象结构体：保存解码器信息以及图形的宽高、像素信息
    AVCodecContext *codec=forContent->streams[videoType]->codec;
    //查找对应的视频流解码器
    AVCodec *decoder = avcodec_find_decoder(codec->codec_id);
    if(decoder==nullptr)//判断是否找到解码器
    {
        qDebug()<<"没有对应的解码器"<<endl;
        return;
    }

🟢打开解码器

    //找到了解码器，打开解码器
    res = avcodec_open2(codec,decoder,nullptr);
    if(res!=0)
    {
        qDebug()<<"解码器打开失败"<<endl;
        return;
    }

🟢读取准备 获取YUV和RGB像素数据

    //为准备读取帧数据做准备--AVPacket 用来存储一帧一帧的压缩数据（h264）
    AVPacket *pkt=nullptr;
    //设置缓冲区，开空间
    pkt=(AVPacket *) malloc(sizeof(AVPacket));
    int size=codec->width*codec->height;//计算一张图片数据大小
    av_new_packet(pkt,size);

    /* pictureRGB 保存解码后的RGB像素数据
        * pictureYUV 保存解码后的YUV像素数据
        * picture    保存未处理的像素数据
        */
    AVFrame *pictureRGB,*pictureYUV,*picture=nullptr;

    //内存分配
    pictureRGB=av_frame_alloc();
    pictureYUV=av_frame_alloc();
    picture=av_frame_alloc();

    //大小以及格式设置RGB
    pictureRGB->width=codec->width;//宽度
    pictureRGB->height=codec->height;//高度
    pictureRGB->format=codec->pix_fmt;//格式设置

    //大小以及格式设置YUV
    pictureYUV->width=codec->width;//宽度
    pictureYUV->height=codec->height;//高度
    pictureYUV->format=codec->pix_fmt;//格式设置

    //一帧码流数据解码后得到YUV RGB像素数据有多大
    int numByte_RGB=avpicture_get_size(AV_PIX_FMT_RGB32,codec->width,codec->height);
    int numByte_YUV=avpicture_get_size(AV_PIX_FMT_YUV420P,codec->width,codec->height);

    //开的空间用来保存YUV RGB像素数据大小
    uint8_t *buffer_RGB=(uint8_t *)av_malloc(numByte_RGB*sizeof(uint8_t));
    uint8_t *buffer_YUV=(uint8_t *)av_malloc(numByte_YUV*sizeof(uint8_t));

    //像素数据的填充
    avpicture_fill((AVPicture *)pictureRGB,buffer_RGB,AV_PIX_FMT_RGB32,codec->width,codec->height);
    avpicture_fill((AVPicture *)pictureYUV,buffer_YUV,AV_PIX_FMT_YUV420P,codec->width,codec->height);

    //转换规则
    SwsContext *sws_RGB=nullptr;//保存转换规则的结构体
    SwsContext *sws_YUV=nullptr;//保存转换规则的结构体

    //转换规则的设置              AV_PIX_FMT_YUV420P   AV_PIX_FMT_RGB32
    sws_RGB=sws_getContext(codec->width,codec->height,codec->pix_fmt,
                           codec->width,codec->height,AV_PIX_FMT_RGB32,  //目标格式
                           SWS_BICUBIC,nullptr,nullptr,nullptr);         //转换规则
    sws_YUV=sws_getContext(codec->width,codec->height,codec->pix_fmt,
                           codec->width,codec->height,AV_PIX_FMT_YUV420P,//目标格式
                           SWS_BICUBIC,nullptr,nullptr,nullptr);         //转换规则
    
    //保存h.264压缩码流数据的文件
    FILE *fp=fopen("fileout/alenH264.h264","wb+");//文件名字可以自行定义
    //保存yuv像素数据的文件
    FILE *fp_yuv=fopen("fileout/alenyuv.yuv","wb+");//文件名字可以自行定义

🟢一帧一帧的读取压缩数据 保存码流数据和YUV、RGB像素数据

    int count=0;//存图片
    //一帧一帧的读取压缩数据
    while(av_read_frame(forContent,pkt)==0)//读到数据
    {
        if(pkt->stream_index == videoType)//判断一帧码流数据是不是需要得到的视频流
        {
            fwrite(pkt->data,pkt->size,1,fp);//写入文件中
            int got_picture_ptr=-1;
            //解码得到YUV
            res = avcodec_decode_video2(codec,picture,&got_picture_ptr,pkt);
            if(res < 0)
            {
                qDebug()<<"解码错误"<<endl;
                return;
            }
            //压缩码流数据，解码后的像素数据，判断有没有数据可以解码，对谁进行解码
            if(got_picture_ptr!=0)//解码操作
            {
                //把解码得到的坏数据剔除
                sws_scale(sws_RGB,picture->data,picture->linesize,0,picture->height,
                          pictureRGB->data,pictureRGB->linesize);//RGB
                sws_scale(sws_YUV,picture->data,picture->linesize,0,picture->height,
                          pictureYUV->data,pictureYUV->linesize);//YUV

                //输出的YUV文件
                //AVFrame像素帧写入文件
                fwrite(pictureYUV->data[0],size,1,fp_yuv);  //y数据
                fwrite(pictureYUV->data[1],size/4,1,fp_yuv);//u数据
                fwrite(pictureYUV->data[2],size/4,1,fp_yuv);//v数据

                //设置每25帧输出一张图片
                count++;
                if(count%25==0)
                {
                    QImage image((uchar *)pictureRGB->data[0],pictureRGB->width,pictureRGB->height,QImage::Format_RGB32);//像素数据
                    QString imageName = QString("image/test%1.jpg").arg(count);
                    image.save(imageName);//保存图片函数
                }
            }
        }
        //释放包以及AVFrame资源
        av_packet_unref(pkt);
        av_frame_unref(picture);
    }
    qDebug()<<"保存码流数据成功"<<endl;

🟢资源释放

    //关闭h.264
    fclose(fp);
    //关闭YUV文件
    fclose(fp_yuv);
    //释放AVFrame
    av_frame_free(&picture);
    //关闭解码器
    avcodec_close(codec);
    //释放视频信息结构体
    avformat_free_context(forContent);

🟢测试主函数代码，如下所示：

int main(int argc, char *argv[])
{
    //QApplication a(argc, argv);
    //Widget w;
    //w.show();
    fdecode *decode = new fdecode;
    decode->registerFFmpeg();
    decode->openVIdeoStream("filein/alen.avi");
    //return a.exec();
}

保存的H.264、yuv文件以及图片数据，如下所示：

🔵H.264、yuv文件

收集整理了一份《2024年最新物联网嵌入式全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升的朋友。
img
img

如果你需要这些资料，可以戳这里获取

需要这些体系化资料的朋友，可以加我V获取：vip1024c （备注嵌入式）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人

都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

_16)

收集整理了一份《2024年最新物联网嵌入式全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升的朋友。
[外链图片转存中…(img-AaMAYdW2-1715797196135)]
[外链图片转存中…(img-Pgp98P2A-1715797196135)]

如果你需要这些资料，可以戳这里获取

需要这些体系化资料的朋友，可以加我V获取：vip1024c （备注嵌入式）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人

都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_85014073
关注
  • 25
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Qt + FFmpeg实现播放器(FFmpeg可以解码的格式基本都可以播放)。
爱捣蛋的小仙儿。
11-08 5271
一、开发环境的准备 Linux下移植ffmpeg开源库。 二、代码实现播放功能 在界面上放置一个 QLabel 和 QPushButton 控件，当点击按钮时播放视频。程序主要分为以下几方面： 1、打开音视频流并获取音视频流信息； 2、查找视频流位置以及查找并打开视频解码器； 3、视频解码的同时处理图片像素数据； 4、最后要释放申请的内存空间。 #include "widget.h" #include "ui_widget.h" #include <QTime> // 调用FFmpeg的头文件
【Qt+FFmpeg】解码播放本地视频（一）
logani的博客
10-09 3203
本文将介绍如何在Qt中使用FFmpeg解码播放本地视频，分为解码线程和播放窗口两部分，步骤详细，一学就会
Qt-FFmpeg开发-视频播放（1）
mahuifa的博客
10-14 4743
1. 使用ffmpeg音视频库【软解码】实现的视频播放器； 2. 支持打开本地视频文件（如mp4、mov、avi等）、网络视频流（rtsp、rtmp、http等）； 3. 支持视频【匀速播放】； 4. 采用QPainter进行显示，支持【自适应】窗口缩放； 5. 视频播放支持实时【开始/关闭、暂停/继续】播放； 6. 视频解码、线程控制、显示各部分功能分离，【低耦合度】。 7. 采用最新的【5.1.2版本】ffmpeg库进行开发，【超详细注释信息】，将所有踩过的坑、解决办法、注意事项都写得很清楚。
(三) FFmpeg结合Qt实现视频播放器(一)
simon曦的博客
01-24 5476
目录 目录 前言 总结 参考链接 前言 总结 参考链接
QT中使用FFmpeg视频解码
m0_59173154的博客
04-16 3408
视频解码 流程图 步骤 加入需要的头文件 1，注册所有组件 av_register_all() 2，打开视频文件 avformat_open_input(),（判断是否打开成功） 3，取视频相关信息：视频码流，音频码流，文字码流 4，查找流信息： avformat_find_stream_infp() 5，从查找到的流信息中找到视频码流信息 6，找到解码器 avcodec_find_decoder()（判断是否找到） 7，打...
ffmpeg+qt代码示例
03-13
在"ffmpeg+qt代码示例"的项目中，我们可以看到几个不同的子文件和项目： 1. **player.sln**：这是一个 Visual Studio 的解决方案文件，通常包含一个或多个项目，用于构建基于 Qt 和 FFmpeg 的多媒体播放器。打开这...
基于CUDA+ffmpeg+QT+QOpenGL的硬解码解决方案demo
12-18
在本项目中，"基于CUDA+ffmpeg+QT+QOpenGL的硬解码解决方案demo" 提供了一种高效、低延迟的视频解码方法，利用现代NVIDIA显卡的硬件加速能力，结合开源多媒体处理框架ffmpeg，图形用户界面库QT以及OpenGL进行实时...
testFfmpeg1.zip_QT_ffmpeg_qt ffmpeg_qt+ffmpeg
09-19
标题中的"testFfmpeg1.zip_QT_ffmpeg_qt ffmpeg_qt+ffmpeg"表明这是一个与FFmpeg和Qt集成相关的项目，可能是一个测试程序，用于演示如何在Qt环境中使用FFmpeg处理视频流。Qt是一个跨平台的应用程序开发框架，而...
windows下Qt+ffmpeg+qsv解码显示
08-05
1. **Qt框架**：Qt是一个跨平台的应用程序开发框架，使用C++语言编写，用于创建图形用户界面和其他应用程序。在这个项目中，Qt作为基础，提供图形界面和事件处理机制，使得开发者可以构建一个用户友好的视频播放器。...
Qt+FFMPEG+SDL实现的视频播放器
03-08
**Qt+FFMPEG+SDL实现的视频播放器** 在软件开发中，创建一个功能完备的视频播放器是一项挑战，但结合Qt、FFmpeg和SDL（Simple DirectMedia Layer）库，我们可以构建出一个高效且跨平台的解决方案。下面将详细阐述这...
Qt之FFMpeg 实现视频解码、编码、转码流程详解
hml111666的博客
01-17 3937
一、FFmpeg模块分类 libavformat，格式封装，包含了多媒体格式的分离器和混流器的库 libavcodec，包含音频/视频解码器和编码器的库 libavutil，包含简化编程功能的库，如通用音视频工具，像素、IO、时间等工具 libavfilter，包含媒体过滤器的库，可以用作音视频特效处理，添加滤镜、水印 libavdevice，包含输入输出设备的库，如摄像头、拾音器 libswscale，视频图像缩放，像素格式互换的库 libavresample，libswresample，重采样，类似
FFmpeg+Qt解码MP4后并显示播放
weixin_47257131的博客
01-02 750
本文实现了软解码后用QImage的简单展示。
ffmpeg(一) ffmpeg+QT开发环境搭建
小道士写程序
06-20 6549
（exe 程序编译的时候只需要包含 xxx.dll.a 静态导入库，运行的时候才需要 xxx.dll 文件）这个 .pro 文件的配置，是指导程序编译的时候，可以找到对应的动态库。值得一提的是，在Windows中，静态链接库（Static Link Library）的扩展名也是.lib、.dll.a。其实只要你掌握了FFmpeg，也可以很快上手其他音视频开发库，因为底层原理都是一样的，你最终操作的都是一样的数据，比如MP3、MP4文件。导入库：不包含函数的具体实现代码（函数的具体实现代码存储在dll中）
Qt 中引入ffmpeg 动态库
qq_43812868的博客
08-02 1504
ffmpeg qt 库
FFmpeg解码音频和视频知识及代码演示
liveweb视频汇聚平台
07-04 722
int main(int argc, char** argv) { // 打开输入音频文件 AVFormatContext* formatctx = NULL;return -1;int main(int argc, char** argv) { // 打开输入视频文件 AVFormatContext* formatctx = NULL;要解码音频，需要打开音频文件，获取音频流并解码。
FFmpeg源代码结构图 - 解码
热门推荐
雷霄骅(leixiaohua1020)的专栏
03-12 13万+
近期研究了一下FFmpeg的内部的源代码。之前对于FFmpeg的研究主要在它的应用层面上，因此制作的很多示例程序都是调用的FFmpeg的API。但是一直感觉这样对FFmpeg的理解还是比较浅，所以打算剖析一下它的源代码，理一下它内部结构的“脉络”。但是有一个很难办的问题：FFmpeg自带的三个工程：ffplay， ffmpeg， ffprobe的代码量非常的大，其中包含了成百上千的API；而这些API背后又包含了大量的FFmpeg内部函数。如此一来，几乎是不可能理清他们之间的关系的。
ffmpeg播放器（一） 视频解码与播放
yinshipin007的博客
05-22 491
一个是传递什么参数，为什么传递该参数的问题，已经在代码中详细注释了。packet申请的内存在堆中，需要释放内存，且packet参数公用在音频和视频的解码中，所以在baseChannel里面进行内存释放。在解码过程中，C++会出现报错现象，需要传递给java代码，所以需要进行java回调、签名来讲c++中的错误传递给java代码。接下来创建DNFFMPEH.h和.cpp，视频解码与播放和音频的解码与播放主要在里面进行。接下来创建DNFFMPEH.h和.cpp，视频解码与播放和音频的解码与播放主要在里面进行。
基于STM32设计的人体健康监测系统(华为云IOT)(189)
最新发布
07-18 1151
该系统集成了心率、血氧、血压、体温以及人体姿态的检测功能，并可通过ESP8266模块将数据上传到华为云物联网平台。用户可以通过配套的手机APP随时查看自己的身体各项指标，判断身体健康状态。对于特殊人群，系统还会与其监护人联机绑定，当检测到摔倒等异常姿态时，会在监护人APP端给出弹窗提示。
qt ffmpeg 推流RTMP代码
09-15
以下是使用Qt和FFmpeg进行RTMP推流的示例代码： ```cpp extern "C" { #include <libavutil/imgutils.h> #include <libavcodec/avcodec.h> #include <libavformat/avformat.h> } void pushRtmp() { av_register_all(); avformat_network_init(); AVFormatContext *pFormatCtx = nullptr; AVOutputFormat *pOutputFmt = nullptr; AVStream *pStream = nullptr; AVCodecContext *pCodecCtx = nullptr; AVCodec *pCodec = nullptr; AVFrame *pFrame = nullptr; AVPacket pkt; const char *rtmpUrl = "rtmp://your_rtmp_server_url"; // 创建输出上下文 avformat_alloc_output_context2(&pFormatCtx, nullptr, "flv", rtmpUrl); if (!pFormatCtx) { qDebug() << "Failed to create output context"; return; } pOutputFmt = pFormatCtx->oformat; // 添加视频流 pStream = avformat_new_stream(pFormatCtx, nullptr); if (!pStream) { qDebug() << "Failed to create video stream"; return; } pCodecCtx = pStream->codec; // 设置编码参数 pCodecCtx->codec_id = pOutputFmt->video_codec; pCodecCtx->codec_type = AVMEDIA_TYPE_VIDEO; pCodecCtx->pix_fmt = AV_PIX_FMT_YUV420P; pCodecCtx->width = 640; pCodecCtx->height = 480; pCodecCtx->bit_rate = 400000; pCodecCtx->gop_size = 250; pCodecCtx->time_base.num = 1; pCodecCtx->time_base.den = 25; // 查找编码器 pCodec = avcodec_find_encoder(pCodecCtx->codec_id); if (!pCodec) { qDebug() << "Failed to find encoder"; return; } // 打开编码器 if (avcodec_open2(pCodecCtx, pCodec, nullptr) < 0) { qDebug() << "Failed to open encoder"; return; } // 创建帧并分配数据内存 pFrame = av_frame_alloc(); pFrame->width = pCodecCtx->width; pFrame->height = pCodecCtx->height; pFrame->format = pCodecCtx->pix_fmt; av_image_alloc(pFrame->data, pFrame->linesize, pCodecCtx->width, pCodecCtx->height, pCodecCtx->pix_fmt, 32); // 打开输出URL if (avio_open(&pFormatCtx->pb, rtmpUrl, AVIO_FLAG_WRITE) < 0) { qDebug() << "Failed to open output URL"; return; } // 写文件头 avformat_write_header(pFormatCtx, nullptr); // 编码并推流 for (;;) { // 从视频源中读取数据到AVFrame // ... // 编码 avcodec_send_frame(pCodecCtx, pFrame); while (avcodec_receive_packet(pCodecCtx, &pkt) == 0) { // 时间基转换 pkt.pts = av_rescale_q(pkt.pts, pCodecCtx->time_base, pStream->time_base); pkt.dts = av_rescale_q(pkt.dts, pCodecCtx->time_base, pStream->time_base); pkt.duration = av_rescale_q(pkt.duration, pCodecCtx->time_base, pStream->time_base); pkt.pos = -1; // 写入推流器 av_interleaved_write_frame(pFormatCtx, &pkt); // 释放包资源 av_packet_unref(&pkt); } } // 写文件尾 av_write_trailer(pFormatCtx); // 释放资源 avcodec_free_context(&pCodecCtx); av_frame_free(&pFrame); avformat_free_context(pFormatCtx); avio_close(pFormatCtx->pb); avformat_network_deinit(); } ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值