FFMpeg的解码流程

最新推荐文章于 2022-01-16 10:10:27 发布

庆IT

最新推荐文章于 2022-01-16 10:10:27 发布

阅读量360

点赞数

文章标签： ffmpeg

1. 从基础谈起
先给出几个概念，以在后面的分析中方便理解
Container:在音视频中的容器，一般指的是一种特定的文件格式，里面指明了所包含的
   音视频，字幕等相关信息
Stream:这个词有些微妙，很多地方都用到，比如TCP，SVR4系统等，其实在音视频，你
   可以理解为单纯的音频数据或者视频数据等
Frames:这个概念不是很好明确的表示，指的是Stream中的一个数据单元，要真正对这
   个概念有所理解，可能需要看一些音视频编码解码的理论知识
Packet:是Stream的raw数据
Codec:Coded + Decoded
其实这些概念在在FFmpeg中都有很好的体现，我们在后续分析中会慢慢看到

2.解码的基本流程
我很懒，于是还是选择了从<An ffmpeg and SDLTutorial>中的流程概述:

10 OPEN video_stream FROMvideo.avi
20 READ packet FROM video_stream INTO frame
30 IF frame NOT COMPLETE GOTO 20
40 DO SOMETHING WITH frame
50 GOTO 20

这就是解码的全过程，一眼看去，是不是感觉不过如此:),不过，事情有深有浅，从浅
到深，然后从深回到浅可能才是一个有意思的过程，我们的故事，就从这里开始，展开
来讲。

3.例子代码
在<An ffmpeg and SDL Tutorial1>中，给出了一个阳春版的解码器，我们来仔细看看
阳春后面的故事，为了方便讲述，我先贴出代码：

#include<ffmpeg/avcodec.h>
#include <ffmpeg/avformat.h>

#include<stdio.h>

void SaveFrame(AVFrame *pFrame, intwidth, int height, int iFrame) {
FILE *pFile;
char szFilename[32];
int y;

// Open file
sprintf(szFilename, "frame%d.ppm", iFrame);
pFile=fopen(szFilename, "wb");
if(pFile==NULL)
return;

// Write header
fprintf(pFile, "P6\n%d %d\n255\n", width, height);

// Write pixel data
for(y=0; y<height; y++)
fwrite(pFrame->data[0]+y*pFrame->linesize[0],1, width*3, pFile);

// Close file
fclose(pFile);
}

int main(int argc, char *argv[]){
AVFormatContext *pFormatCtx;
int            i, videoStream;
AVCodecContext *pCodecCtx;
AVCodec        *pCodec;
AVFrame        *pFrame;
AVFrame        *pFrameRGB;
AVPacket       packet;
int            frameFinished;
int            numBytes;
uint8_t        *buffer;

if(argc < 2) {
   printf("Please provide a movie file\n");
    return-1;
}
// Register all formats and codecs
########################################
[1]
########################################
av_register_all();

// Open video file
########################################
[2]
########################################
if(av_open_input_file(&pFormatCtx, argv[1], NULL,0, NULL)!=0)
    return -1;// Couldn't open file

// Retrieve stream information
########################################
[3]
########################################
if(av_find_stream_info(pFormatCtx)<0)
    return -1;// Couldn't find stream information

// Dump information about file onto standard error
dump_format(pFormatCtx, 0, argv[1], 0);

// Find the first video stream
videoStream=-1;
for(i=0; i<pFormatCtx->nb_streams;i++)
   if(pFormatCtx->streams[i]->codec->codec_type==CODEC_TYPE_VIDEO){
     videoStream=i;
     break;
    }
if(videoStream==-1)
    return -1;// Didn't find a video stream

// Get a pointer to the codec context for the videostream
pCodecCtx=pFormatCtx->streams[videoStream]->codec;

// Find the decoder for the video stream
pCodec=avcodec_find_decoder(pCodecCtx->codec_id);
if(pCodec==NULL) {
   fprintf(stderr, "Unsupported codec!\n");
    return -1;// Codec not found
}
// Open codec
if(avcodec_open(pCodecCtx, pCodec)<0)
    return -1;// Could not open codec

// Allocate video frame
pFrame=avcodec_alloc_frame();

// Allocate an AVFrame structure
pFrameRGB=avcodec_alloc_frame();
if(pFrameRGB==NULL)
    return-1;

// Determine required buffer size and allocate buffer
numBytes=avpicture_get_size(PIX_FMT_RGB24,pCodecCtx->width,
                 pCodecCtx->height);
buffer=(uint8_t *)av_malloc(numBytes*sizeof(uint8_t));

// Assign appropriate parts of buffer to image planes inpFrameRGB
// Note that pFrameRGB is an AVFrame, but AVFrame is asuperset
// of AVPicture
avpicture_fill((AVPicture *)pFrameRGB, buffer,PIX_FMT_RGB24,
        pCodecCtx->width,pCodecCtx->height);

// Read frames and save first five frames to disk
########################################
[4]
########################################
i=0;
while(av_read_frame(pFormatCtx,&packet)>=0) {
    // Is this apacket from the video stream?
   if(packet.stream_index==videoStream) {
     // Decode video frame
     avcodec_decode_video(pCodecCtx, pFrame,&frameFinished,
              packet.data, packet.size);

     // Did we get a video frame?
     if(frameFinished) {
    // Convertthe image from its native format to RGB
   img_convert((AVPicture *)pFrameRGB,PIX_FMT_RGB24,
                   (AVPicture*)pFrame,pCodecCtx->pix_fmt,
                   pCodecCtx->width,
                   pCodecCtx->height);

    // Save theframe to disk
   if(++i<=5)
     SaveFrame(pFrameRGB, pCodecCtx->width,pCodecCtx->height,
           i);
     }
    }

    // Free thepacket that was allocated by av_read_frame
   av_free_packet(&packet);
}

// Free the RGB image
av_free(buffer);
av_free(pFrameRGB);

// Free the YUV frame
av_free(pFrame);

// Close the codec
avcodec_close(pCodecCtx);

// Close the video file
av_close_input_file(pFormatCtx);

return 0;
}

代码注释得很清楚，没什么过多需要讲解的，关于其中的什么YUV420，RGB，PPM等格式
，如果不理解，麻烦还是google一下，也可以参考:http://barrypopy.cublog.cn/里面
的相关文章

其实这部分代码，很好了Demo了怎么样去抓屏功能的实现，但我们得去看看魔术师在后
台的一些手法，而不只是简单的享受其表演。

4.背后的故事
真正的难度，其实就是上面的[1],[2],[3],[4],其他部分，都是数据结构之间的转换，
如果你认真看代码的话，不难理解其他部分。

[1]:没什么太多好说的，如果不明白，看我转载的关于FFmepg框架的文章

[2]:先说说里面的AVFormatContext*pFormatCtx结构，字面意思理解AVFormatContext
就是关于AVFormat(其实就是我们上面说的Container格式)的所处的Context(场景)，自
然是保存Container信息的总控结构了，后面你也可以看到，基本上所有的信息，都可
以从它出发而获取到

我们来看看av_open_input_file()都做了些什么：
[libavformat/utils.c]
int av_open_input_file(AVFormatContext **ic_ptr, const char*filename,
                      AVInputFormat *fmt,
                      int buf_size,
                      AVFormatParameters *ap)
{
   ......
    if (!fmt){

       fmt = av_probe_input_format(pd, 0);
    }

   ......
    err =av_open_input_stream(ic_ptr, pb, filename, fmt, ap);
   ......
}

这样看来，只是做了两件事情：
1). 侦测容器文件格式
2). 从容器文件获取Stream的信息

这两件事情，实际上就是调用特定文件的demuxer以分离Stream的过程:

具体流程如下:

av_open_input_file
    |
   +---->av_probe_input_format从first_iformat中遍历注册的所有demuxer以
   |    调用相应的probe函数
    |
   +---->av_open_input_stream调用指定demuxer的read_header函数以获取相关
         流的信息ic->iformat->read_header

如果反过来再参考我转贴的关于ffmpeg框架的文章，是否清楚一些了呢:)

[3]:简单从AVFormatContext获取Stream的信息，没什么好多说的

[4]:先简单说一些ffmpeg方面的东西，从理论角度说过来，Packet可以包含frame的部
分数据，但ffmpeg为了实现上的方便，使得对于视频来说，每个Packet至少包含一
frame,对于音频也是相应处理，这是实现方面的考虑，而非协议要求.
因此，在上面的代码实际上是这样的：
   从文件中读取packet，从Packet中解码相应的frame;
   从帧中解码;
   if(解码帧完成)
       do something();

我们来看看如何获取Packet,又如何从Packet中解码frame的。

av_read_frame
    |
   +---->av_read_frame_internal
       |
       +---->av_parser_parse调用的是指定解码器的s->parser->parser_parse函数以从rawpacket中重构frame

avcodec_decode_video
    |
   +---->avctx->codec->decode调用指定Codec的解码函数

因此，从上面的过程可以看到，实际上分为了两部分：

一部分是解复用(demuxer),然后是解码(decode)

使用的分别是：
av_open_input_file() ---->解复用

av_read_frame()           |
                          |   ---->解码
avcodec_decode_video()    |

5.后面该做些什么
结合这部分和转贴的ffmepg框架的文章，应该可以基本打通解码的流程了，后面的问题则是针对具体容器格式和具体编码解码器的分析，后面我们继续

参考：
[1]. <An ffmpeg and SDLTutorial>
     http://www.dranger.com/ffmpeg/tutorial01.HTML

[2]. <FFMpeg框架代码阅读>
     http://blog.csdn.NET/wstarx/archive/2007/04/20/1572393.ASP