原文地址:https://zhidao.baidu.com/question/138230295830759205.html
引子 OpenCV中有自己的用于处理图片和视频的类VideoCapture,可以很方便的读入文件和显示。 现在视频数据流是ffmpeg解码h264文件得到的,由于要依赖该数据源进行相应的后续处理,所以需要将ffmpeg中得到的数据缓存转换成可以被OpenCV处理的Mat类对象。 ffmpeg介绍 FFmpeg是一个开源免费跨平台的视频和音频流方案,属于自由软件,采用LGPL或GPL许可证(依据你选择的组件)。它提供了录制、转换以及流化音视频的完整解决方案。它包含了非常先进的音频/视频编解码库libavcodec,为了保证高可移植性和编解码质量,libavcodec里很多codec都是从头开发的。 FFmpeg是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序。它包括了目前领先的音/视频编码库libavcodec。 FFmpeg是在Linux下开发出来的,但它可以在包括Windows在内的大多数操作系统中编译。 FFmpeg的组成结构 FFmpeg主要由一下几个部分组成: libavcodec:一个包含了所有FFmpeg音视频编解码器的库。 为了保证最优性能和高可复用性,大多数编解码器从头开发的。 libavformat:一个包含了所有的普通音视格式的解析器和 产生器的库。 三个实例程序,这三个实例较为复杂,基本可以作为API使用手册: ffmpeg:命令行的视频格式转换程序。 ffplay:视频播放程序。(需要SDL支持) ffserver:多媒体服务器 了解完组成结构后,你会发现,如果你在寻找一种视频格式转换的方式,那FFmpeg绝对是你的第一选择,libavcodec 则又是重 中之重。如果遇上API不会使用的情况,可以参考ffmpeg.c、ffplay.c、 ffserver.c、apiexample.c(解码)和output_example.c(编码)。 ffmpeg使用说明 ffmpeg库的接口都是c函数,其头文件也没有extern "C"的声明,所以在cpp文件里调用ffmpeg函数要注意了。 一般来说,一个用C写成的库如果想被C/C++同时可以使用,那在头文件应该加上 #ifdef __cplusplus extern "C" { #endif #ifdef __cplusplus } // endof extern "C" #endif 如果在.cpp里调用av_register_all()在链接时将找到不符号,因为.cpp要求的符号名 和ffmpeg库提供的符号名不一致。 可以这么解决: extern "C" { #include <libavutil/avutil.h> #include <libavcodec/avcodec.h> #include <libavformat/avformat.h> } 使用ffmpeg SDK解码流数据过程 以H264视频流为例,讲解解码流数据的步骤。 准备变量 定义AVCodec,AVCodec *变量为解码器指针。 定义AVCodecContext,使用该变量可以将其定义为ffmpeg解码类的类成员。 定义AVFrame,AVFrame描述一个多媒体帧。解码后的数据将被放在其中。 定义AVFormatContext变量,AVFormatContext用于保存视频流的有效信息。 AVCodec *pCodec; AVCodecContext * pCodecCtx; AVFrame * pAvFrame; AVFormatContext *pFormatCtx; 初始化解码器 第一件事情就是初始化libavformat/libavcodec: ffmpeg注册复用器,编码器等的函数av_register_all()。 av_register_all(); 这一步注册库中含有的所有可用的文件格式和编码器,这样当打开一个文件时,它们才能够自动选择相应的文件格式和编码器。要注意你只需调用一次 av_register_all(),所以,尽可能的在你的初始代码中使用它。这里注册了所有的文件格式和编解码器的库,所以它们将被自动的使用在被打开的合适格式的文件上。注意你只需要调用 av_register_all()一次,因此我们在主函数main()中来调用它。如果你喜欢,也可以只注册特定的格式和编解码器,但是通常你没有必要这样做。 打开视频文件,取出包含在文件中的流信息 // 打开视频文件 if(av_open_input_file(&pFormatCtx, filename, NULL, 0, NULL)!=0) handle_error(); // 不能打开此文件 这个函数读取文件的头部并且把信息保存到我们给的AVFormatContext结构体中。 最后三个参数描述了文件格式,缓冲区大小(size)和格式参数;我们通过简单地指明NULL或0告诉 libavformat 去自动探测文件格式并且使用默认的缓冲区大小。 // 取出流信息 if(av_find_stream_info(pFormatCtx)<0) handle_error(); // 不能够找到流信息 查找文件的流信息,avformat_open_input函数只是检测了文件的头部,接着要检查在文件中的流的信息。 这一步会用有效的信息把 AVFormatContext 的流域(streams field)填满。作为一个可调试的诊断,我们会将这些信息全盘输出到标准错误输出中,不过你在一个应用程序的产品中并不用这么做。 我们仅仅处理视频流,而不是音频流。为了让这件事情更容易理解,我们只简单使用我们发现的第一种视频流。 //遍历文件的各个流,找到第一个视频流,并记录该流的编码信息 videoindex = -1; for(i=0; i<pFormatCtx->nb_streams; i++) { if(pFormatCtx->streams[i]->codec->codec_type==AVMEDIA_TYPE_VIDEO) { videoindex=i; break; } } if(videoindex==-1) { printf("Didn't find a video stream.\n"); return; } pCodecCtx=pFormatCtx->streams[videoindex]->codec; 我们已经得到了一个指向视频流的称之为上下文的指针。接下来,我们需要找到真正的编码器打开它。 寻找视频流的解码器 在库里面查找支持该格式的解码器 pCodec = avcodec_find_decoder(pCodecCtx->codec_id); if(pCodec == NULL) handle_error(); // 找不到解码器 打开解码器 if(avcodec_open(pCodecCtx, pCodec)<0) handle_error(); 给视频帧分配空间,以便存储解码后的图片数据 pAvFrame = avcodec_alloc_frame(); 解码视频帧就像我前面提到过的,视频文件包含数个音频和视频流,并且他们各个独自被分开存储在固定大小的包里。我们要做的就是使用libavformat依次读取这些包,过滤掉所有那些视频流中我们不感兴趣的部分,并把它们交给libavcodec进行解码处理。 进行解码 通过该api读入一帧 result = av_read_frame(pFormatCtx, packet); 通过下面的api进行解码一帧数据,将有效的图像数据存储到pAvFrame成员变量中 ret = avcodec_decode_video2(pCodecCtx, pAvFrame, &got_picture, packet);