最新FFmpeg RTSP流抓取

前言

需求： 使用FFmpeg获取RTSP流，抓取其中的一帧图片进行图像分析。

闲聊：本来，我这个工具是要在ARM机器上进行使用的，最后因为库的原因，并没有使用FFmepg去抓取图片。而是采用了ZLMediaKit去抓取图片，但这个工具有个较为致命的问题，就是每次要停止抓图，很麻煩。

但在本篇文章，并不会使用上面说的那种不好的方法，以后有空也可以讲解一下这种方法，没准自己能想到方法进行改进。

20221103

这个是在原来的文章的基础进行扩充的，也就是在这个时候，增加了对在ARM V7机器上使用FFmpeg 4.4.3进行抓流的尝试。这里进行一个总结。

我们看一下这里ffmpeg的最新版的一些介绍：

4.4.3 was released on 2022-10-09. It is the latest stable FFmpeg release from the 4.4 release branch, which was cut from master on 2021-04-08.

It includes the following library versions:

libavutil 56. 70.100

libavcodec 58.134.100

libavformat 58. 76.100

libavdevice 58. 13.100

libavfilter 7.110.100

libswscale 5. 9.100

libswresample 3. 9.100

libpostproc 55. 9.100

其实流程已经有了一定的改变了，包括一些函数都被弃用了，非常的烦恼，导致在查询资料的时候，很多查出来的都不能用，所以后面去看了一下源码，虽然有用，但其实用处也不是太大，后面也会把这部分源码稍微贴一下，供需要的人稍微看一下。

正文

一、环境

1、环境一

Win11+Qt5.15+MSVC2019+FFmpeg+OpenCV

FFmpeg的版本忘记了，应该是从网上下载的，这个网上下载个最新的版本，应该问题也不是很大。下载链接：Index of /releases

OpenCV的版本是我自己从网上下载的源码，可以参考这个链接进行下载:Ubuntu 16.04 + Qt 5.11 +opencv 3.4完美配置（亲测，最简单完美的方法）然后使用VS2019进行编译得到的库。如果你使用的不是MSVC2019而是MinGW,则要自己从新进行编译，网上找下教程，应该是挺容易的。然后，你再将编译好的include,bin,lib文件放在我当前的位置上，就可以了，或者，你自己放个位置，然后，pro文件中进行修改也是可以的。

程序链接： 使用FFmpeg抓取RTSP图像进行图像分析_ffmpeg抓图,javartsp抓图资源-CSDN文库

上图中的ffmpeg与opencv就是我放的所需要的库文件了，基本你只要环境跟我一样，应该是不用再下载，就可以直接打开Qt编译，编译后，会提示一些dll库没有，这个时候，你就把里面的ffmpeg和opencv里面的/bin文件夹中的dll文件拷贝放到你编译出来的exe文件中(一般是在build目录下)，这样，应该编译就可以通过了。

2、环境二

这次的运行环境是在:

Linux version 3.4.39 (root@ubuntu) (gcc version 4.6.3 20120201 (prerelease) (crosstool-NG linaro-1.13.1-2012.02-20120222 - Linaro GCC 2012.02) )

所以，这次使用了最新版的FFmpeg(20221103当前最新)，下载地址为:

★文末名片可以免费领取音视频开发学习资料，内容包括（FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，srs）以及音视频学习路线图等等。

见下方!↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓

二、程序效果

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oROaFx3A-1667616485870)(Image/306_最新FFmpeg RTSP流抓取.assets/image-20221103110925281.png)]

这就是抓取下来的图片，因为只是为了提供一个接口，所以，并没有将图片实时显示出来。

三、FFmpeg抓取RTSP图片

1、Windows环境

ffmpeg抓取图片的停止和开始是通过一个启动或终止一个线程来实现的。

/*线程*/
void VideoPlayer::startPlay()
{
 //调用 QThread 的start函数 将会自动执行下面的run函数 run函数是一个新的线程
    this->start();
}

void VideoPlayer::stopPlay()
{
 //调用 QThread 的start函数 将会自动执行下面的run函数 run函数是一个新的线程
//    thread()->terminate();
//    thread()->wait();
    this->terminate();
    this->wait();
}

核心抓取图片的线程

/*线程*/
void VideoPlayer::run()
{
    /*定义结构体 调用其成员函数*/
    //输入数据缓存，视音频流个数 视音频流 文件名 时长 比特率 解封装等
    AVFormatContext *pFormatCtx;
    AVCodecContext *pCodecCtx;
    AVCodec *pCodec;/*存储解码器信息*/
    AVFrame *pFrame, *pFrameRGB;/*存储解码器信息*/
    AVPacket *packet;/*数据包*/
   static uint8_t *out_buffer;

    /*处理图片像素数据 图片像素格式转换 图片拉伸等 */
    static struct SwsContext *img_convert_ctx;
         /*视频流*/       /*图像*/
    int videoStream, i, numBytes;
      /*解码*/   /*解码成功*/
    int ret, got_picture;

    avformat_network_init();//初始化FFmpeg网络模块
    av_register_all();//初始化FFMPEG  调用了这个才能正常适用编码器和解码器(弃用函数)


    pFormatCtx = avformat_alloc_context();//初始化内存

    //AVDictionary是FFmpeg的键值对存储工具，FFmpeg经常使用AVDictionary设置/读取内部参数
    AVDictionary *avdic=NULL;
    char option_key[]="rtsp_transport";
    char  m_bTcp;
    av_dict_set(&avdic,option_key,m_bTcp ? "udp" : "tcp",0);
    char option_key2[]="stimeout";
    char option_value2[]="3000000";
    av_dict_set(&avdic, "buffer_size", "1024000", 0);                 //画质优化
    av_dict_set(&avdic,option_key2,option_value2,0);
    //char url[]="rtsp://admin:123456@192.168.1.217/stream0";/*网络摄像头的数据*/
    QByteArray ba=m_sUrlAddress.toLocal8Bit();
    char* url = ba.data();
    /*avformat_open_input函数*/
    //参数一：指向用户提供的AVFormatContext（由avformat_alloc_context分配）的指针。
    //参数二：要打开的流的url
    //参数三：fmt如果非空，则此参数强制使用特定的输入格式。否则6将自动检测格式。
    //参数四：包含AVFormatContext和demuxer私有选项的字典。返回时，此参数将被销毁并替换为包含找不到的选项
    if (avformat_open_input(&pFormatCtx, url, NULL, &avdic) != 0)    //打开多媒体并获取信息
    {
        printf("can't open the file. \n");
        return;
    }
    if(avdic != NULL)
    {
        av_dict_free(&avdic);
    }
    qDebug()<<"--->z pFormatCtx->streams[videoStream]->codec"<<pFormatCtx->streams[0]->codec->codec_id;
    //获取视频流信息
    /*avformat_find_stream_info函数*/
    //参数一：媒体文件上下文。
    //参数二：字典，一些配置选项。      /*媒体句柄*/
    if (avformat_find_stream_info(pFormatCtx, NULL) < 0)
    {
        printf("Could't find stream infomation.\n");
        return;
    }
    videoStream = -1;/*无视频流*/
    //循环查找视频中包含的流信息，直到找到视频类型的流
    /* pFormatCtx函数*/
    //unsigned int nb_streams    当前的流数量
    //AVStream **streams;  指针数组 视频流和语音流*/
    for (i = 0; i < pFormatCtx->nb_streams; i++)
    {
        qDebug()<<"--->z  run1"<<pFormatCtx->streams[i]->codec->codec_type;
        if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO)//codec弃用函数
        {
            videoStream = i;
        }
    }
    //如果videoStream为-1 说明没有找到视频流
    if (videoStream == -1)
    {
        printf("Didn't find a video stream.\n");
        return;
    }

    //打印流信息
    //注意：最后一个参数填0，打印输入流；最后一个参数填1，打印输出流
    av_dump_format(pFormatCtx, 0, url,0);

    //查找解码器,获取指向视频流的编解码器上下文的指针
    pCodecCtx = pFormatCtx->streams[videoStream]->codec;
    //通过解封装之后从avstream结构体里获取CodecID（指定格式流）
    pCodec = avcodec_find_decoder(pCodecCtx->codec_id);
    qDebug()<<"--->z CVlcCameraCapture::run()2"<<pCodec<<pCodecCtx->codec_id<<pCodec<<videoStream;
    //设置编码器参数(不同参数对视频编质量或大小的影响)
    pCodecCtx->bit_rate =0;   //初始化为0   比特率
    pCodecCtx->time_base.num=1;  //下面两行：一秒钟25帧
    pCodecCtx->time_base.den=25;
    pCodecCtx->frame_number=1;   //每包一个视频帧

    /*编码器如果等于NULL 编码器没有找到*/
    if (pCodec == NULL)
    {
        printf("Codec not found.\n");
        return;
    }

    //打开解码器
    if (avcodec_open2(pCodecCtx, pCodec, NULL) < 0)
    {
        printf("Could not open codec.\n");
        return;
    }

    pFrame = av_frame_alloc();    //创建  存储解码器信息*/
    pFrameRGB = av_frame_alloc(); //创建  存储解码器信息*/