FFmepg基本使用流程

在原创的基础上整理了下步骤,原文地址不好着了,但是原文标题叫《ffmpeg开发指南》。

基于0.4.8 版本的ffmpeg。


1初始化

首先第一件事情--让我们来看看怎样打开一个视频文件并从中得到流。我们要做的第一件事情就是初始化libavformat/libavcodec:

 av_register_all();

这一步注册库中含有的所有可用的文件格式和编码器,这样当打开一个文件时,它们才能够自动选择相应的文件格式和编码器。要注意你只需调用一次 av_register_all(),所以,尽可能的在你的初始代码中使用它。如果你愿意,你可以仅仅注册个人的文件格式和编码,不过,通常你不得不这么做却没有什么原因。

 

2打开文件

AVFormatContext*pFormatCtx;
const char    *filename="myvideo.mpg";
// 打开视频文件
if(av_open_input_file(&pFormatCtx,filename, NULL, 0, NULL)!=0)
       handle_error(); // 不能打开此文件

最后三个参数描述了文件格式,缓冲区大小(size)和格式参数;我们通过简单地指明NULL或0告诉 libavformat 去自动探测文件格式并且使用默认的缓冲区大小。请在你的程序中用合适的出错处理函数替换掉handle_error()。

 

3寻找流信息

// 取出流信息
if(av_find_stream_info(pFormatCtx)<0)
    handle_error(); // 不能够找到流信息

这一步会用有效的信息把AVFormatContext 的流域(streams field)填满。作为一个可调试的诊断,我们会将这些信息全盘输出到标准错误输出中,不过你在一个应用程序的产品中并不用这么做:

dump_format(pFormatCtx,0, filename, false);

 就像在引言中提到的那样,我们仅仅处理视频流,而不是音频流。为了让这件事情更容易理解,我们只简单使用我们发现的第一种视频流:


好了,我们已经得到了一个指向视频流的称之为上下文的指针。但是我们仍然需要找到真正的编码器打开它。

int i, videoStream;
AVCodecContext*pCodecCtx;
//   寻找第一个视频流
videoStream=-1;
for(i=0;i<pFormatCtx->nb_streams; i++)
if(pFormatCtx->streams[i]->codec.codec_type==CODEC_TYPE_VIDEO)
{
       videoStream=i;
       break;
}
if(videoStream==-1)
    handle_error(); //Didn't find a video stream 
// 得到视频流编码上下文的指针
pCodecCtx=pFormatCtx->streams[videoStream]->codec; 

4  寻找解码器

AVCodec *pCodec;
pCodec=avcodec_find_decoder(pCodecCtx->codec_id);
if(pCodec==NULL)
    handle_error(); // 找不到解码器
// 通知解码器我们能够处理截断的bit流--ie,
// bit流帧边界可以在包中
if(pCodec->capabilities& CODEC_CAP_TRUNCATED)
    pCodecCtx->flags|=CODEC_FLAG_TRUNCATED;


 

5打开解码器

if(avcodec_open(pCodecCtx,pCodec)<0)
    handle_error(); // 打不开解码器(那么什么是“截断bit流”?好的,就像一会我们看到的,视频流中的数据是被分割放入包中的。因为每个视频帧的数据的大小是可变的,那么两帧之间的边界就不一定刚好是包的边界。这里,我们告知解码器我们可以处理bit流。)

存储在AVCodecContext结构中的一个重要的信息就是视频帧速率。为了允许非整数的帧速率(比如 NTSC的   29.97帧),速率以分数的形式存储,分子在 pCodecCtx->frame_rate,分母在 pCodecCtx->frame_rate_base 中。在用不同的视频文件测试库时,我注意到一些编码器(很显然ASF)似乎并不能正确的给予赋值(frame_rate_base 用1代替1000)。下面给出修复补丁:

 // 加入这句话来纠正某些编码器产生的帧速错误
if(pCodecCtx->frame_rate>1000&& pCodecCtx->frame_rate_base==1)
    pCodecCtx->frame_rate_base=1000;

 注意即使将来这个bug解决了,留下这几句话也并没有什么坏处。视频不可能拥有超过1000fps的帧速。


 6给视频帧分配空间以便存储解码后的图片

 AVFrame *pFrame;
pFrame=avcodec_alloc_frame();
就这样,现在我们开始解码这些视频。解码视频帧就像我前面提到过的,视频文件包含数个音频和视频流,并且他们各个独自被分开存储在固定大小的包里。我们要做的就是使用libavformat依次读取这 些包,过滤掉所有那些视频流中我们不感兴趣的部分,并把它们交给 libavcodec 进行解码处理。在做这件事情时,我们要注意这样一个事实,两帧之间的边界也可以在包的中间部分。

听起来很复杂?幸运的是,我们在一个例程中封装了整个过程,它仅仅返回下一帧。

  

7 读取文件,解码得到视频帧

boolGetNextFrame(AVFormatContext *pFormatCtx, AVCodecContext *pCodecCtx, intvideoStream, AVFrame *pFrame)
{
static AVPacket packet;
static int    bytesRemaining=0;
static uint8_t   *rawData;
static bool     fFirstTime=true;
Int bytesDecoded;
Int frameFinished;
    
//   我们第一次调用时,将 packet.data 设置为NULL指明它不用释放了
if(fFirstTime)
{
       fFirstTime=false;
       packet.data=NULL;
}
 
// 解码直到成功解码完整的一帧
while(true)
{
    //   除非解码完毕,否则一直在当前包中工作
       while(bytesRemaining > 0)
       {
      //   解码下一块数据
        bytesDecoded=avcodec_decode_video(pCodecCtx, pFrame,
           &frameFinished, rawData, bytesRemaining); 
         if(bytesDecoded <0) // 出错了?
         {
            fprintf(stderr,"Error while decoding frame\n");
            return false;
         }
 
        bytesRemaining-=bytesDecoded;
        rawData+=bytesDecoded;
 
         // 我们完成当前帧了吗?接着我们返回
         if(frameFinished)
            return true;
       }
 
	// 读取下一包,跳过所有不属于这个流的包
       do
       {
         // 释放旧的包
         if(packet.data!=NULL)
            av_free_packet(&packet);
 
         // 读取新的包
         if(av_read_packet(pFormatCtx,&packet)<0)
            goto loop_exit;
       }while(packet.stream_index!=videoStream);
 
       bytesRemaining=packet.size;
       rawData=packet.data;
}
loop_exit:
 
// 解码最后一帧的余下部分
bytesDecoded=avcodec_decode_video(pCodecCtx,pFrame, &frameFinished,
       rawData, bytesRemaining);
 
// 释放最后一个包
if(packet.data!=NULL)
       av_free_packet(&packet);
 
return frameFinished!=0;
}


 

现在,我们要做的就是在一个循环中,调用 GetNextFrame () 直到它返回false。还有一处需要注意:大多数编码器返回 YUV 420 格式的图片(一个亮度和两个色度通道,色度通道只占亮度通道空间分辨率的一半(译者注:此句原句为the chrominance channels samples at half the spatial resolution ofthe luminance channel))。看你打算如何对视频数据处理,或许你打算将它转换至RGB格式。(注意,尽管,如果你只是打算显示视频数据,那大可不必要这么做;查 看一下 X11 的 Xvideo 扩展,它可以在硬件层进行YUV到RGB 转换。)

8 图片格式转换

幸运的是,libavcodec 提供给我们了一个转换例程img_convert :它可以像转换其他图象进行 YUV 和 RGB之间的转换。这样解码视频的循环就变成这样: 

while(GetNextFrame(pFormatCtx,pCodecCtx, videoStream, pFrame))
{
img_convert((AVPicture *)pFrameRGB,PIX_FMT_RGB24, (AVPicture*)pFrame,
       pCodecCtx->pix_fmt,pCodecCtx->width, pCodecCtx->height);
 
// 处理视频帧(比如显示到屏幕上)
DoSomethingWithTheImage(pFrameRGB);
}


RGB图象pFrameRGB (AVFrame *类型)的空间分配如下:

AVFrame *pFrameRGB;
pFrameRGB=avcodec_alloc_frame();
if(pFrameRGB==NULL)
handle_error();

 

9 DoSomethingWithTheImage

显示这一帧,或者别的操作。

 

10播放结束进行清理工作

好了,我们已经处理了我们的视频,现在需要做的就是清除我们自己的东西:

// 释放 RGB 图象
delete [] buffer;
av_free(pFrameRGB);
 
// 释放YUV 帧
av_free(pFrame);
 
// 关闭解码器(codec)
avcodec_close(pCodecCtx);
 
// 关闭视频文件
av_close_input_file(pFormatCtx);

 

11完成

 


已标记关键词 清除标记
相关推荐
<p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><span style="margin: 0px; padding: 0px; color: #333333;"><span style="margin: 0px; padding: 0px; max-width: 100%; box-sizing: border-box;"><strong style="margin: 0px; padding: 0px;"><strong style="margin: 0px; padding: 0px;"><span style="margin: 0px; padding: 0px; color: #ff0000;"><span style="margin: 0px; padding: 0px; font-size: 24px;"><strong style="margin: 0px; padding: 0px; color: #333333;">敬告:</strong></span></span></strong><span style="margin: 0px; padding: 0px; max-width: 100%; box-sizing: border-box; color: #ff0000; font-size: 24px;">该系列的课程在抓紧录制更新中,敬请大家关注。</span></strong></span></span></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><span style="margin: 0px; padding: 0px; max-width: 100%; box-sizing: border-box;"><strong style="margin: 0px; padding: 0px;"><span style="margin: 0px; padding: 0px; color: #ff0000;"><span style="margin: 0px; padding: 0px; max-width: 100%; box-sizing: border-box;"><strong style="margin: 0px; padding: 0px; color: #333333;"><strong style="margin: 0px; padding: 0px;"><strong style="margin: 0px; padding: 0px;"><span style="margin: 0px; padding: 0px; color: #ff0000; font-size: 24px;"><strong style="margin: 0px; padding: 0px; color: #333333;">敬告:</strong></span></strong></strong><span style="margin: 0px; padding: 0px; max-width: 100%; box-sizing: border-box; color: #00b050;">本课程项目仅供学习参考,请不要直接商用,概不负责任何法律责任</span><span style="margin: 0px; padding: 0px; max-width: 100%; box-sizing: border-box; color: #ff0000;">。</span></strong></span></span></strong></span></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><span style="margin: 0px; padding: 0px;"><span style="margin: 0px; padding: 0px; color: #333333;"> </span><span style="margin: 0px; padding: 0px; color: #333333; max-width: 100%; box-sizing: border-box;"><strong style="margin: 0px; padding: 0px;">该系列的课程涉及:FFmpeg,WebRTC,SRS,Nginx,Darwin,Live555,等。包括:音视频、流媒体、直播、Android、视频监控28181、等。</strong></span><br style="margin: 0px; padding: 0px;" /></span></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"> </p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><span style="margin: 0px; padding: 0px; color: #e36c09; font-size: 20px;"><strong style="margin: 0px; padding: 0px;">我将带领大家一起来学习使用FFmpeg开发视频监控项目,<span style="margin: 0px; padding: 0px; color: #00b050;">并动手操练</span>。</strong></span></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><span style="margin: 0px; padding: 0px; font-size: 20px; color: #000000;"><strong style="margin: 0px; padding: 0px;">具体内容包括:</strong></span></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"> </p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><span style="margin: 0px; padding: 0px; font-size: 20px; color: #7030a0;">一、视频监控的架构和流程</span></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><span style="margin: 0px; padding: 0px; font-size: 20px; color: #7030a0;">二、FFmpeg4.3+SDL2+Qt5开发环境的搭建</span></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><span style="margin: 0px; padding: 0px; font-size: 20px; color: #7030a0;">三、FFmpeg的SDK编程回顾总结并操练</span></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><span style="margin: 0px; padding: 0px; font-size: 20px; color: #7030a0;">四、SDL2.0的编程回顾总结并操练</span></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><span style="margin: 0px; padding: 0px; font-size: 20px; color: #7030a0;">五、颜色空间转换RGB和YUV的原理与实战</span></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><span style="margin: 0px; padding: 0px; font-size: 20px; color: #7030a0;">六、Qt5+FFmpeg本地摄像头采集预览实战</span></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><span style="margin: 0px; padding: 0px; font-size: 20px; color: #7030a0;">七、代码封装:摄像头h264/5编码并存储</span></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><span style="margin: 0px; padding: 0px; font-size: 20px; color: #7030a0;">八、Qt5+FFmpeg单路网络摄像头采集预览</span></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><span style="margin: 0px; padding: 0px; font-size: 20px; color: #7030a0;">九、Qt5+FFmpeg单路网络摄像头</span><span style="margin: 0px; padding: 0px; font-size: 20px; color: #ff0000;">采集预览录制会看</span></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><span style="margin: 0px; padding: 0px; font-size: 20px; color: #7030a0;">十、onvif与GB/T-28181的简介</span></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"> </p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><img src="https://img-bss.csdnimg.cn/202101130753276832.jpg" alt="" /></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><span style="color: #313d54; font-family: Helvetica Neue, Helvetica, Hiragino Sans GB, Arial, sans-serif;"> </span></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><strong><span style="color: #313d54; font-family: Helvetica Neue, Helvetica, Hiragino Sans GB, Arial, sans-serif;">音视频与流媒体是一门很复杂的技术,涉及的概念、原理、理论非常多,很多初学者不学 基础理论,而是直接做项目,往往会看到c/c++的代码时一头雾水,不知道代码到底是什么意思,这是为什么呢?</span></strong></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><span style="color: #313d54; font-family: Helvetica Neue, Helvetica, Hiragino Sans GB, Arial, sans-serif;"> </span></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><span style="color: #313d54; font-family: Helvetica Neue, Helvetica, Hiragino Sans GB, Arial, sans-serif;"> </span></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><span style="color: #313d54; font-family: Helvetica Neue, Helvetica, Hiragino Sans GB, Arial, sans-serif;"> </span></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><span style="color: #313d54; font-family: Helvetica Neue, Helvetica, Hiragino Sans GB, Arial, sans-serif;">因为没有学习音视频和流媒体的基础理论,就比如学习英语,不学习基本单词,而是天天听英语新闻,总也听不懂。</span></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><span style="color: #313d54; font-family: Helvetica Neue, Helvetica, Hiragino Sans GB, Arial, sans-serif;"> </span></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><span style="color: #313d54; font-family: Helvetica Neue, Helvetica, Hiragino Sans GB, Arial, sans-serif;">所以呢,一定要认真学习基础理论,然后再学习播放器、转码器、非编、流媒体直播、视频监控、等等。</span></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><span style="color: #313d54; font-family: Helvetica Neue, Helvetica, Hiragino Sans GB, Arial, sans-serif;"> </span></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><span style="color: #313d54; font-family: Helvetica Neue, Helvetica, Hiragino Sans GB, Arial, sans-serif;"> </span></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><span style="color: #313d54; font-family: Helvetica Neue, Helvetica, Hiragino Sans GB, Arial, sans-serif;"> </span></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><strong><span style="color: #313d54; font-family: Helvetica Neue, Helvetica, Hiragino Sans GB, Arial, sans-serif;">梅老师从事音视频与流媒体行业18年;曾在永新视博、中科大洋、百度、美国Harris广播事业部等公司就职,经验丰富;曾亲手主导广电直播全套项目,精通h.264/h.265/aac,曾亲自参与百度app上的网页播放器等实战产品。</span></strong></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"> </p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><span style="color: #313d54; font-family: Helvetica Neue, Helvetica, Hiragino Sans GB, Arial, sans-serif;"> </span></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><span style="color: #313d54; font-family: Helvetica Neue, Helvetica, Hiragino Sans GB, Arial, sans-serif;">目前全身心自主创业,主要聚焦音视频+流媒体行业,精通音视频加密、流媒体在线转码快编等热门产品。</span></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"><span style="color: #313d54; font-family: Helvetica Neue, Helvetica, Hiragino Sans GB, Arial, sans-serif;"> </span></p> <p style="font-family: 'Helvetica Neue', Helvetica, 'Hiragino Sans GB', Arial, sans-serif; margin: 0px; padding: 0px; color: #313d54; font-size: 16px; background-color: #ffffff;"> </p>
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页