利用ffmpeg和opencv进行视频的解码播放

引子

OpenCV中有自己的用于处理图片和视频的类VideoCapture，可以很方便的读入文件和显示。

现在视频数据流是ffmpeg解码h264文件得到的，由于要依赖该数据源进行相应的后续处理，所以需要将ffmpeg中得到的数据缓存转换成可以被OpenCV处理的Mat类对象。

ffmpeg介绍

FFmpeg是一个开源免费跨平台的视频和音频流方案，属于自由软件，采用LGPL或GPL许可证（依据你选择的组件）。它提供了录制、转换以及流化音视频的完整解决方案。它包含了非常先进的音频/视频编解码库libavcodec，为了保证高可移植性和编解码质量，libavcodec里很多codec都是从头开发的。

FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。它包括了目前领先的音/视频编码库libavcodec。 FFmpeg是在Linux下开发出来的，但它可以在包括Windows在内的大多数操作系统中编译。

FFmpeg的组成结构

FFmpeg主要由一下几个部分组成：

libavcodec：一个包含了所有FFmpeg音视频编解码器的库。 为了保证最优性能和高可复用性,大多数编解码器从头开发的。

libavformat：一个包含了所有的普通音视格式的解析器和 产生器的库。

三个实例程序，这三个实例较为复杂，基本可以作为API使用手册：

ffmpeg：命令行的视频格式转换程序。

ffplay：视频播放程序。（需要SDL支持）

ffserver：多媒体服务器

了解完组成结构后，你会发现，如果你在寻找一种视频格式转换的方式，那FFmpeg绝对是你的第一选择，libavcodec 则又是重 中之重。如果遇上API不会使用的情况，可以参考ffmpeg.c、ffplay.c、 ffserver.c、apiexample.c（解码）和output_example.c（编码）。

ffmpeg使用说明

ffmpeg库的接口都是c函数，其头文件也没有extern "C"的声明，所以在cpp文件里调用ffmpeg函数要注意了。

一般来说，一个用C写成的库如果想被C/C++同时可以使用，那在头文件应该加上

#ifdef __cplusplus
extern "C" {
#endif
#ifdef __cplusplus
} // endof extern "C"
#endif

如果在.cpp里调用av_register_all()在链接时将找到不符号，因为.cpp要求的符号名

和ffmpeg库提供的符号名不一致。

可以这么解决:

extern "C"
{
#include <libavutil/avutil.h>
#include <libavcodec/avcodec.h>
#include <libavformat/avformat.h>
}

使用ffmpeg SDK解码流数据过程

以H264视频流为例，讲解解码流数据的步骤。

准备变量

定义AVCodec，AVCodec *变量为解码器指针。

定义AVCodecContext，使用该变量可以将其定义为ffmpeg解码类的类成员。

定义AVFrame，AVFrame描述一个多媒体帧。解码后的数据将被放在其中。

定义AVFormatContext变量，AVFormatContext用于保存视频流的有效信息。

AVCodec    *pCodec;
AVCodecContext * pCodecCtx;
AVFrame * pAvFrame;
AVFormatContext    *pFormatCtx;

初始化解码器

第一件事情就是初始化libavformat/libavcodec：
ffmpeg注册复用器，编码器等的函数av_register_all()。

av_register_all();

这一步注册库中含有的所有可用的文件格式和编码器，这样当打开一个文件时，它们才能够自动选择相应的文件格式和编码器。要注意你只需调用一次 av_register_all()，所以，尽可能的在你的初始代码中使用它。这里注册了所有的文件格式和编解码器的库，所以它们将被自动的使用在被打开的合适格式的文件上。注意你只需要调用 av_register_all()一次，因此我们在主函数main()中来调用它。如果你喜欢，也可以只注册特定的格式和编解码器，但是通常你没有必要这样做。

打开视频文件，取出包含在文件中的流信息

// 打开视频文件
if(av_open_input_file(&pFormatCtx, filename, NULL, 0, NULL)!=0)
       handle_error(); // 不