【FFMPEG源码分析】从ffplay源码摸清ffmpeg框架(一)

已于 2023-02-09 13:26:24 修改
阅读量660 收藏 1
点赞数 1
分类专栏： 多媒体 文章标签： 媒体 视频编解码
于 2023-02-09 12:15:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38537730/article/details/128948981
版权

ffplay入口

ffmpeg\fftools\ffplay.c
int main(int argc, char **argv)
{
    /*******************start 动态库加载/网络初始化等**************/
    int flags;
    VideoState *is;
    init_dynload();
    av_log_set_flags(AV_LOG_SKIP_REPEATED);
    parse_loglevel(argc, argv, options);
    /* register all codecs, demux and protocols */
#if CONFIG_AVDEVICE
    avdevice_register_all();
#endif
    avformat_network_init();
    signal(SIGINT , sigterm_handler); /* Interrupt (ANSI).    */
    signal(SIGTERM, sigterm_handler); /* Termination (ANSI).  */
    show_banner(argc, argv, options);
    parse_options(NULL, argc, argv, options, opt_input_file);
    if (!input_filename) {
        show_usage();
        av_log(NULL, AV_LOG_FATAL, "An input file must be specified\n");
        av_log(NULL, AV_LOG_FATAL,
               "Use -h to get full help or, even better, run 'man %s'\n", program_name);
        exit(1);
    }
    /*******************end动态库加载/网络初始化等**************/
    /*******************start 视频帧显示窗口初始化*******************/
    if (display_disable) {
        video_disable = 1;
    }
    flags = SDL_INIT_VIDEO | SDL_INIT_AUDIO | SDL_INIT_TIMER;
    if (audio_disable)
        flags &= ~SDL_INIT_AUDIO;
    else {
        /* Try to work around an occasional ALSA buffer underflow issue when the
         * period size is NPOT due to ALSA resampling by forcing the buffer size. */
        if (!SDL_getenv("SDL_AUDIO_ALSA_SET_BUFFER_SIZE"))
            SDL_setenv("SDL_AUDIO_ALSA_SET_BUFFER_SIZE","1", 1);
    }
    if (display_disable)
        flags &= ~SDL_INIT_VIDEO;
    if (SDL_Init (flags)) {
        av_log(NULL, AV_LOG_FATAL, "Could not initialize SDL - %s\n", SDL_GetError());
        av_log(NULL, AV_LOG_FATAL, "(Did you set the DISPLAY variable?)\n");
        exit(1);
    }
    SDL_EventState(SDL_SYSWMEVENT, SDL_IGNORE);
    SDL_EventState(SDL_USEREVENT, SDL_IGNORE);
    if (!display_disable) {
        int flags = SDL_WINDOW_HIDDEN;
        if (alwaysontop)
#if SDL_VERSION_ATLEAST(2,0,5)
            flags |= SDL_WINDOW_ALWAYS_ON_TOP;
#else
            av_log(NULL, AV_LOG_WARNING, "Your SDL version doesn't support SDL_WINDOW_ALWAYS_ON_TOP. Feature will be inactive.\n");
#endif
       if (borderless)
            flags |= SDL_WINDOW_BORDERLESS;
        else
            flags |= SDL_WINDOW_RESIZABLE;

#ifdef SDL_HINT_VIDEO_X11_NET_WM_BYPASS_COMPOSITOR
        SDL_SetHint(SDL_HINT_VIDEO_X11_NET_WM_BYPASS_COMPOSITOR, "0");
#endif
        window = SDL_CreateWindow(program_name, SDL_WINDOWPOS_UNDEFINED, SDL_WINDOWPOS_UNDEFINED, default_width, default_height, flags);
        SDL_SetHint(SDL_HINT_RENDER_SCALE_QUALITY, "linear");
        if (window) {
            renderer = SDL_CreateRenderer(window, -1, SDL_RENDERER_ACCELERATED | SDL_RENDERER_PRESENTVSYNC);
            if (!renderer) {
                av_log(NULL, AV_LOG_WARNING, "Failed to initialize a hardware accelerated renderer: %s\n", SDL_GetError());
                renderer = SDL_CreateRenderer(window, -1, 0);
            }
            if (renderer) {
                if (!SDL_GetRendererInfo(renderer, &renderer_info))
                    av_log(NULL, AV_LOG_VERBOSE, "Initialized %s renderer.\n", renderer_info.name);
            }
        }
        if (!window || !renderer || !renderer_info.num_texture_formats) {
            av_log(NULL, AV_LOG_FATAL, "Failed to create window or renderer: %s", SDL_GetError());
            do_exit(NULL);
        }
    }
    /*******************end 视频帧显示窗口初始化*******************/
    
    /******************* 下载数据/demux/decoder*******************/
    is = stream_open(input_filename, file_iformat);
    if (!is) {
        av_log(NULL, AV_LOG_FATAL, "Failed to initialize VideoState!\n");
        do_exit(NULL);
    }
    event_loop(is);
    return 0;
}

从上面main函数入口来看，main中大部分是一些init工作，而ffmpeg的核心工作demux/decoder的工作都封装在stream_open中了。
想要摸清ffmpeg的框架，学习思路是追踪音视频数据的流动过程。

  1. 原始数据通过什么模块获取？
  2. 如何通过原始数据匹配到对应的demuxer ，如: ts, mp4, mov, avi等？
  3. 如何通过demuxer后的audio/video数据匹配到对应的decoder， 如：h264， vp9， aac等？
  4. ffmpeg中数据流转的驱动模型是什么样的？也就是数据是从什么地方驱动开始下载/demux/decode ?
static VideoState *stream_open(const char *filename,
                               const AVInputFormat *iformat)
{
    VideoState *is = av_mallocz(sizeof(VideoState));
    is->last_video_stream = is->video_stream = -1;
    is->last_audio_stream = is->audio_stream = -1;
    is->last_subtitle_stream = is->subtitle_stream = -1;
    is->filename = av_strdup(filename);
    is->iformat = iformat;
    is->ytop    = 0;
    is->xleft   = 0;
    is->continue_read_thread = SDL_CreateCond();
    /* start video display */
   frame_queue_init(&is->pictq, &is->videoq, VIDEO_PICTURE_QUEUE_SIZE, 1);
   frame_queue_init(&is->subpq, &is->subtitleq, SUBPICTURE_QUEUE_SIZE, 0);
   frame_queue_init(&is->sampq, &is->audioq, SAMPLE_QUEUE_SIZE, 1);
   packet_queue_init(&is->videoq);
   packet_queue_init(&is->audioq);
   packet_queue_init(&is->subtitleq);
   
   init_clock(&is->vidclk, &is->videoq.serial);
   init_clock(&is->audclk, &is->audioq.serial);
   init_clock(&is->extclk, &is->extclk.serial);
   is->audio_clock_serial = -1;
   startup_volume = av_clip(startup_volume, 0, 100);
   startup_volume = av_clip(SDL_MIX_MAXVOLUME * startup_volume / 100, 0, SDL_MIX_MAXVOLUME);
   is->audio_volume = startup_volume;
   is->muted = 0;
   is->av_sync_type = av_sync_type;
   is->read_tid     = SDL_CreateThread(read_thread, "read_thread", is);
   if (!is->read_tid) {
        av_log(NULL, AV_LOG_FATAL, "SDL_CreateThread(): %s\n", SDL_GetError());
fail:
        stream_close(is);
        return NULL;
    return is;
}

从上面的代码看，stream_open主要是用于初始化VideoState这个结构体，初始化audio/video/subtitile解码后数据的buffer queque。结构体的具体细节先暂不深入。
另外在stream_open中创建了一个thread: read_thread, 看来干活的是这个了。。。

static int read_thread(void *arg)
{
    VideoState *is = arg;
    AVPacket *pkt = av_packet_alloc();
    AVFormatContext *ic = avformat_alloc_context();
    //启动数据下载模块，demux模块
    avformat_open_input(&ic, is->filename, is->iformat, &format_opts);
    is->ic = ic;
    av_format_inject_global_side_data(ic);
    if (find_stream_info) {
        AVDictionary **opts = setup_find_stream_info_opts(ic, codec_opts);
        avformat_find_stream_info(ic, opts);
    }
    if (!video_disable)
        st_index[AVMEDIA_TYPE_VIDEO] =
            av_find_best_stream(ic, AVMEDIA_TYPE_VIDEO,
                                st_index[AVMEDIA_TYPE_VIDEO], -1, NULL, 0);
    if (!audio_disable)
        st_index[AVMEDIA_TYPE_AUDIO] =
            av_find_best_stream(ic, AVMEDIA_TYPE_AUDIO,
                                st_index[AVMEDIA_TYPE_AUDIO],
                                st_index[AVMEDIA_TYPE_VIDEO],
                                NULL, 0);
    if (!video_disable && !subtitle_disable)
        st_index[AVMEDIA_TYPE_SUBTITLE] =
            av_find_best_stream(ic, AVMEDIA_TYPE_SUBTITLE,
                                st_index[AVMEDIA_TYPE_SUBTITLE],
                                (st_index[AVMEDIA_TYPE_AUDIO] >= 0 ?
                                 st_index[AVMEDIA_TYPE_AUDIO] :
                                 st_index[AVMEDIA_TYPE_VIDEO]),
                                NULL, 0);
    // 启动decoder thread
    stream_component_open(is, st_index[AVMEDIA_TYPE_AUDIO]);
    stream_component_open(is, st_index[AVMEDIA_TYPE_VIDEO]);
    stream_component_open(is, st_index[AVMEDIA_TYPE_SUBTITLE]);

    for (;;) {
        if (is->abort_request)
            break;
        if (is->paused != is->last_paused) {
            is->last_paused = is->paused;
            if (is->paused)
                is->read_pause_return = av_read_pause(ic);
            else
                av_read_play(ic);
        }
        //读取demux后的数据，并存入audio/video/subtitle的buffer queue中
        av_read_frame(ic, pkt);
        /* check if packet is in play range specified by user, then queue, otherwise discard */
        stream_start_time = ic->streams[pkt->stream_index]->start_time;
        pkt_ts = pkt->pts == AV_NOPTS_VALUE ? pkt->dts : pkt->pts;
        pkt_in_play_range = duration == AV_NOPTS_VALUE ||
                (pkt_ts - (stream_start_time != AV_NOPTS_VALUE ? stream_start_time : 0)) *
                av_q2d(ic->streams[pkt->stream_index]->time_base) -
                (double)(start_time != AV_NOPTS_VALUE ? start_time : 0) / 1000000
                <= ((double)duration / 1000000);
        if (pkt->stream_index == is->audio_stream && pkt_in_play_range) {
            packet_queue_put(&is->audioq, pkt);
        } else if (pkt->stream_index == is->video_stream && pkt_in_play_range
                   && !(is->video_st->disposition & AV_DISPOSITION_ATTACHED_PIC)) {
            packet_queue_put(&is->videoq, pkt);
        } else if (pkt->stream_index == is->subtitle_stream && pkt_in_play_range) {
            packet_queue_put(&is->subtitleq, pkt);
        } else {
            av_packet_unref(pkt);
        }
    }
    ..............;
    return 0;
}

从上面read_thread代码看，主要是通过avformat_open_input(…)启动数据下载和demux，再通过stream_component_open(…) 启动audio/video/subtitle的decoder。最后启动死循环通过av_read_frame(…) 读取demux出来的audio/video/subtitle存入对应的buffer queue供decoder使用。
下面再看看decoder是如何消耗数据的？以及decoder完成的数据缓存在什么地方？

static int stream_component_open(VideoState *is, int stream_index)
{
    AVFormatContext *ic = is->ic;
    const AVCodec *codec;
    const char *forced_codec_name = NULL;
    AVDictionary *opts = NULL;
    const AVDictionaryEntry *t = NULL;
    int sample_rate;
    AVChannelLayout ch_layout = { 0 };
    int ret = 0;
    int stream_lowres = lowres;

    AVCodecContext *avctx = avcodec_alloc_context3(NULL);
    avcodec_parameters_to_context(avctx, ic->streams[stream_index]->codecpar);
    const AVCodec * codec = avcodec_find_decoder(avctx->codec_id);
    avctx->codec_id = codec->id;
    AVDictionary *opts = filter_codec_opts(codec_opts, avctx->codec_id, ic, ic->streams[stream_index], codec);
    avcodec_open2(avctx, codec, &opts))；
   
    is->eof = 0;
    ic->streams[stream_index]->discard = AVDISCARD_DEFAULT;
    switch (avctx->codec_type) {
    case AVMEDIA_TYPE_AUDIO:
        /* prepare audio output */
        audio_open(is, &ch_layout, sample_rate, &is->audio_tgt))‘
        decoder_init(&is->auddec, avctx, &is->audioq, is->continue_read_thread))；
        decoder_start(&is->auddec, audio_thread, "audio_decoder", is))；
        static SDL_AudioDeviceID audio_dev;
        SDL_PauseAudioDevice(audio_dev, 0);
        break;
    case AVMEDIA_TYPE_VIDEO:
        is->video_stream = stream_index;
        is->video_st = ic->streams[stream_index];
        decoder_init(&is->viddec, avctx, &is->videoq, is->continue_read_thread))；
        decoder_start(&is->viddec, video_thread, "video_decoder", is))；
        is->queue_attachments_req = 1;
        break;
    case AVMEDIA_TYPE_SUBTITLE:
        is->subtitle_stream = stream_index;
        is->subtitle_st = ic->streams[stream_index];
        decoder_init(&is->subdec, avctx, &is->subtitleq, is->continue_read_thread))；
         decoder_start(&is->subdec, subtitle_thread, "subtitle_decoder", is))
        break;
    default:
        break;
    }
    ....................;
    return ret;
}

ffplay内部结构图

通过stream_component_open函数的代码可以看出，先初始化decoder，再创建thread。
至此， ffplay的大致脉络已经摸清楚了，具体看下图:
ffplay_thread
结构关系图：
ff_state
后面的文章继续深入分析demuxer和decoder。

猿来如此yXy
关注
专栏目录
FFMPEG源码深入解析.pdf
07-14
FFMPEG源码深入解析, 墙裂推荐, 深入理解不容错过. FFMPEG源码深入解析, 墙裂推荐, 深入理解不容错过.
ffmpeg源码分析-ffmpeg_parse_options
u012117034的博客
02-26 987
提取码：g3k8ffmpeg 源码分析系列以一条简单的命令开始，，分析其内部逻辑。，提取码：nl0s。前面《FFmpeg源码分析-环境搭建篇》专栏已经教大家如何搭建起来 ffmpeg.c 的断点调试环境。本文主要分析转码的内部逻辑。FFmpeg 的命令行参数 解析流程 如下图所示。可以看到函数调用用流程图如下。
ffmpeg.c（4.3.1）源码剖析
明天你好的博客
01-06 2295
本文对 ffmpeg.c 源码进行学习及剖析。
FFmpeg之ffplay源码简要分析
yinshipin007的博客
06-03 1128
1 ffplay 基本架构1.1 视频解码播放的基本流程ffmpeg视频解码播放的基本流程如下图所示：首先对网络媒体数据流进行解封装得到一般的视频封装格式比如MP4等，如果是本地播放的媒体文件就不需要解协议；然后对视频媒体文件进行解封装，得到未经过解码的视频、音频或者字幕流数据，在ffmpeg中得到的是AVPacket；然后分别对字幕、音频和视频数据进行解码，分别得到字幕、PCM数据和YUV数据；
ffmpeg源码分析-transcode_step
u012117034的博客
02-27 2218
翻译成中文，因为那样会让初学者感到很茫然，本文想表达的是，if 中的条件在什么样的场景下会是 true，什么样的场景下是false，便于读者理解整体逻辑，如果只是把。，丢给解码器解码，如果解出 frame，就把frame丢给 filter 链。由于笔者的水平有限， 加之编写的同时还要参与开发工作，文中难免会出现一些错误或者不准确的地方，恳请读者批评指正。的代码如下，为了简洁，有些不重要代码缩进了，还有一些无关的if，会在图中标注，重点代码会已经框出来。，输出了跑第一个if，没有开始输出继续跑第二个if。
ffmpeg源码分析, ffplay源码分析
08-19
作者裁剪了ffplay, 只留下AVI解码播放, 详细分析了代码结构. 是学习ffmpeg不可多得的好资料. 源码包里有需要的库, 可直接使用vs编译,调试. 目前试过VS2013, 可以编译,调试. 其他版本没试过
FFMpeg_FFPlay 源码剖析（杨书良）.pdf
07-14
根据提供的文档内容，以下是关于FFmpeg和FFplay源码剖析的知识点： 1. FFMPEG/FFPLAY源码剖析涉及多个核心库的详细解析，包括libavutil、libavformat和libavcodec等。这些库构成了FFmpeg多媒体框架的基础部分，分别...
基于qt的ffmpeg，ffplay的调试工程
09-30
本工程的运行环境是qt creator 8.0.1，ffmpeg的版本是4.2.1，可以单步调试ffplay.c源文件，ffmpeg.c源文件，帮助初学者阅读ffplay，ffmpeg的源码，熟悉ffplay，ffmpeg的源码框架，请使用qt的DesKtop XXX MinGW 32-...
FFMPEG/FFPLAY 源码剖析(附源码)
05-07
通过深入学习和分析FFmpeg/FFplay的源码，开发者不仅能掌握多媒体处理的核心技术，还能培养出解决实际问题的能力，这对于从事音视频开发或相关领域的工程师来说是极其宝贵的。同时，这也是一种对开源社区的贡献，...
ffmpeg源码分析-reap_filter
u012117034的博客
02-27 905
所以这里我直接指名，这些变量都不用特别关注，看一遍就行了，看不懂也没事，这些算法应该需要结合一个具体的帧率变换命令才能更好的解释。但是如图，绿色框出来的duration，应该是根据不用场景计算duration，不用特别关注，还有。没有frame 出来了，编码器也就不会再有packet，缓存中的 packet 都不会有，因为上次已经循环读完了所有 pakcet，这个比较重要。由于笔者的水平有限， 加之编写的同时还要参与开发工作，文中难免会出现一些错误或者不准确的地方，恳请读者批评指正。
ffmpeg6.0-ffplay.c源码分析(一)之结构体、变量、宏详细解读
TrueDei
12-17 748
ffplay.c在全局定义的结构体、变量、宏就有300多行，去掉空格也有接近300行。本文从程序相关变量、宏、结构体、全局变量四个方面来解读。
FFmpeg源码解析系列（一）目录和编译
最新发布
wushakun的博客
02-28 1930
FFmpeg，全称"Fast Forward MPEG"，是一个功能强大、开源的多媒体框架，它提供了广泛的音频和视频处理功能，使得多媒体数据的解码、编码、转换、封装以及流媒体传输变得更加容易。随着数字媒体在我们日常生活中的普及，FFmpeg在多领域得到了广泛的应用。你可以使用FFmpeg来剪切、合并、转码、添加滤镜等，从而编辑和处理视频文件。这对于视频制作、后期制作以及视频分享平台非常重要。FFmpeg不仅支持视频，还可以用于音频文件的处理，包括音频转码、剪切、合并以及添加效果。
FFmpeg源代码简单分析-架构图-解码
CHYabc123456hh的博客
06-15 1163
FFmpeg源代码简单分析-架构图-解码
ffmpeg 源码分析-转码总结
yinshipin007的博客
08-03 234
给filter链输入一个NULL，此时 filter链可能还有 frame 缓存，所以必须等。转码的流程已经分析完毕了，接下来主要讲解 EOF 的处理跟转码结束各种状态的变化。，这里返回 EOF，说明之前已经传递过 size==0 的 pkt 给。是在 解码器返回 EOF，后续没有frame输入了，也就是。的 pkt 的 size 也是0。，才能说明 filter 链已经没有 frame了，才能调。但是此时，编码器还没有发送NULL包去刷，所以后面还会执行。，这个EOF 其实不用特别关注，因为他不会导致。
ffmpeg源码分析
陌上烟雨遥的博客
11-28 3382
1 简述 ffmpeg.exe 是一个非常快速的音频视频转换工具， 我们可以通过它进行格式，编码转换，还可以加滤镜。它可以读取普通文件，网络文件，甚至抓取设备数据。ffmpeg 转码的过程如下图所示： ffmpeg 涉及的c 文件有三个：ffmpeg.c , ffmpeg_opt.c，cmdutils.c ，有关ffmpeg.exe 框架，引用雷神画的流程图： 从上图我们可以看到，main() 函数中调用的函数有： 1)av_register_all() 2)show_banner() .
FFmpeg从入门：FFmpeg框架
yinshipin007的博客
04-01 809
FFmpeg（Fast forword mpeg，音视频转换器）是一个开源免费跨平台的视频和音频流方案，它提供了录制/音视频编解码、转换以及流化音视频的完整解决方案。ffmpeg4.0.2源码目录结构如下：目录说明：FFmpeg|—compat 该目录存放的是兼容文件，以便兼容早期版本 |—doc 说明文档 |—ffbuild |—libavcodec音视频编解码核心库 |—各种设备的输入输出，比如Video4Linux2, VfW, DShow以及 ALSA |—滤镜特效处理 |—
FFMPEG 3.4.2 - ffplay源代码分析 （一）
irainsa的博客
03-11 448
路径是一条从位置点开始，中间过滤器和位置点交错，在位置点结束的处理流程。中间的位置点都是无名的，开始和结束的位置点应该是有名的，除非这条路径在filtergraph的开始和结束位置。有名位置点是该路径与其他路径的连接点，所以需要有一个名字来标记，而无名位置点只存在该路径内部的两个过滤器之间，是隐含的，所以不需要名字。open_inputs标记当前还没有解析（与其他OutPad连接）的InPad，open_outputs标记当前还没有解析的OutPad，curr_inputs标记当前将要解析的InPad。
从头用脚分析FFmpeg源码 - avcodec_send_packet | avcodec_receive_frame
qq_35585843的博客
03-30 1203
然后通过判断avci->buffer_frame->buf[0]是否null来决定是否调用decode_receive_frame_internal来接受解码后的frame。需要注意的是，AVCodecContext必须经过avcodec_open2函数打开，输入的AVPacket会在内部增加一个ref，所以如果要free，外部也应该调用av_packet_unref。avcodec_send_packet和avcodec_receive_frame中最核心的函数，大部分的编码格式都会调用到这里解码。
FFMPEG/FFPLAY源码分析：杨书良著
FFMPEG/FFPLAY源码剖析是杨书良撰写的一本专著，深入解析了这两个关键的开源多媒体处理工具的内部机制。FFmpeg是一个强大的多媒体框架，包含了用于处理音频、视频和字幕的库，如libavcodec、libavformat、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值