ffplay解码线程分析

最新推荐文章于 2024-07-13 09:37:05 发布
最新推荐文章于 2024-07-13 09:37:05 发布
阅读量1.1k 收藏 5
点赞数
分类专栏： 音视频

转自： https://zhuanlan.zhihu.com/p/43948483

ffplay的解码线程独立于读线程，并且每种类型的流(AVStream)都有其各自的解码线程，如video_thread用于解码video stream，audio_thread用于解码audio stream，subtitle_thread用于解码subtitle stream。

为方便阅读，先列一张表格，梳理各个变量、函数名称。

其中PacketQueue用于存放从read_thread取到的各自播放时间内的AVPacket。FrameQueue用于存放各自解码后的AVFrame。Clock用于同步音视频。解码线程负责将PacketQueue数据解码为AVFrame，并存入FrameQueue。

对于不同流，其解码过程大同小异，我们先看下video_thead。

对于滤镜部分，先不做分析 ，简化后的代码如下(为方便阅读，以下代码还省略了部分局部变量的声明)：

static int video_thread(void *arg)
{
    AVRational tb = is->video_st->time_base;
    AVRational frame_rate = av_guess_frame_rate(is->ic, is->video_st, NULL);

    for (;;) {
        ret = get_video_frame(is, frame); //解码获取一帧视频画面
        if (ret < 0)//解码结束
            goto the_end;
        if (!ret)//没有解码得到画面
            continue;

        duration = (frame_rate.num && frame_rate.den ? av_q2d((AVRational){frame_rate.den, frame_rate.num}) : 0);//用帧率估计帧时长
        pts = (frame->pts == AV_NOPTS_VALUE) ? NAN : frame->pts * av_q2d(tb);//将pts转化为秒为单位
        ret = queue_picture(is, frame, pts, duration, frame->pkt_pos, is->viddec.pkt_serial);//将解码后的帧存入FrameQueue
        av_frame_unref(frame);

        if (ret < 0)
            goto the_end;
    }
 the_end:

    av_frame_free(&frame);
    return 0;
}

线程的总体流程很清晰：

  1. 调用get_video_frame解码一帧图像
  2. “计算”时长和pts
  3. 调用queue_picture放入FrameQueue

get_video_frame简化如下：

static int get_video_frame(VideoState *is, AVFrame *frame)
{
    int got_picture;

    if ((got_picture = decoder_decode_frame(&is->viddec, frame, NULL)) < 0)
        return -1;

    if (got_picture) {
        frame->sample_aspect_ratio = av_guess_sample_aspect_ratio(is->ic, is->video_st, frame);
        //……
    }

    return got_picture;
}

主要是调用decoder_decode_frame解码。

被简化的部分主要是针对丢帧的一个处理：

//if (got_picture) {
        double dpts = NAN;
        if (frame->pts != AV_NOPTS_VALUE)
            dpts = av_q2d(is->video_st->time_base) * frame->pts;
        if (framedrop>0 || (framedrop && get_master_sync_type(is) != AV_SYNC_VIDEO_MASTER)) {
            if (frame->pts != AV_NOPTS_VALUE) {
                double diff = dpts - get_master_clock(is);
                if (!isnan(diff) && fabs(diff) < AV_NOSYNC_THRESHOLD &&
                    diff - is->frame_last_filter_delay < 0 &&
                    is->viddec.pkt_serial == is->vidclk.serial &&
                    is->videoq.nb_packets) {
                        av_log(NULL, AV_LOG_ERROR, "drop early: %d\n", is->videoq.nb_packets);
                    is->frame_drops_early++;
                    av_frame_unref(frame);
                    got_picture = 0;
                }
            }
        }
//}

丢帧的主要条件是diff - is->frame_last_filter_delay < 0，frame_last_filter_delay与滤镜有关，可以先忽略，也就是diff < 0的时候丢帧——pts < get_master_clock(is)的时候丢帧。

控制是否丢帧的开关变量是framedrop，为1，则始终判断是否丢帧；为0，则始终不丢帧；为-1（默认值），则在主时钟不是video的时候，判断是否丢帧。

接下来看下真正解码的过程——decoder_decode_frame，这个函数也包含了对audio和subtitle的解码，同样，先看简化后的主干代码：

static int decoder_decode_frame(Decoder *d, AVFrame *frame, AVSubtitle *sub) {
    for (;;) {
        //1. 流连续的情况下，不断调用avcodec_receive_frame获取解码后的frame
        if (d->queue->serial == d->pkt_serial) {
            do {
                ret = avcodec_receive_frame(d->avctx, frame);
                if (ret == AVERROR_EOF) {
                    return 0;
                }
                if (ret >= 0)
                    return 1;
            } while (ret != AVERROR(EAGAIN));
        }

        //2. 取一个packet，顺带过滤“过时”的packet
        do {
            if (d->queue->nb_packets == 0)
                SDL_CondSignal(d->empty_queue_cond);
            if (packet_queue_get(d->queue, &pkt, 1, &d->pkt_serial) < 0)
                return -1;
        } while (d->queue->serial != d->pkt_serial);

        //3. 将packet送入解码器
        avcodec_send_packet(d->avctx, &pkt);
    }
}

decoder_decode_frame的主干代码是一个循环，要拿到一帧解码数据，或解码出错、文件结束，才会返回。

循环内可以分解为3个步骤：

  1. 流连续的情况下，不断调用avcodec_receive_frame获取解码后的frame。d->queue就是video PacketQueue(videoq)，d->pkt_serial是最近一次取的Packet的序列号。在判断完d->queue->serial == d->pkt_serial确保流连续后，循环调用avcodec_receive_frame，有取到帧，就返回。（即使还没送入新的Packet，这是为了兼容一个Packet可以解出多个Frame的情况）
  2. 取一个packet，顺带过滤“过时”的packet。主要阻塞调用packet_queue_get（参考PacketQueue的分析：https://zhuanlan.zhihu.com/p/43295650）。另外，会在PacketQueue为空时，发送empty_queue_cond条件信号，通知读线程继续读数据。（empty_queue_cond就是continue_read_thread，可以参考read线程的分析，查看读线程何时会等待该条件量：https://zhuanlan.zhihu.com/p/43672062）
  3. 将packet送入解码器。
avcodec_decode_video2已经被标记为废弃。
@deprecated Use avcodec_send_packet() and avcodec_receive_frame().
建议使用这两个函数进行解码。

在省略代码中有一个packet_pending的概念，用于在send失败时重新发送：

if (avcodec_send_packet(d->avctx, &pkt) == AVERROR(EAGAIN)) {
    av_log(d->avctx, AV_LOG_ERROR, "Receive_frame and send_packet both returned EAGAIN, which is an API violation.\n");
    d->packet_pending = 1;
    av_packet_move_ref(&d->pkt, &pkt);
}

如果avcodec_send_packet返回EAGAIN，则把当前pkt存入d->pkt，然后置标志位packet_pending为1。

packet_pending的读取在取Packet时：

do {
    if (d->queue->nb_packets == 0)
        SDL_CondSignal(d->empty_queue_cond);
    //如果有待重发的pkt，则先取待重发的pkt，否则从队列中取一个pkt
    if (d->packet_pending) {
        av_packet_move_ref(&pkt, &d->pkt);
        d->packet_pending = 0;
    } else {
        if (packet_queue_get(d->queue, &pkt, 1, &d->pkt_serial) < 0)
            return -1;
    }
} while (d->queue->serial != d->pkt_serial);

省略代码中还有针对flush_pkt的处理：

if (pkt.data == flush_pkt.data) {
    avcodec_flush_buffers(d->avctx);
    d->finished = 0;
    d->next_pts = d->start_pts;
    d->next_pts_tb = d->start_pts_tb;
}

了解过PacketQueue的代码，我们知道在往PacketQueue送入一个flush_pkt后，PacketQueue的serial值会加1，而送入的flush_pkt和PacketQueue的serial值保持一致。所以如果有“过时”Packet，过滤后，取到的第一个pkt将是flush_pkt。

根据api要求，此时需要调用avcodec_flush_buffers。

上面，我们就分析完了video_thread中关键的get_video_frame函数，根据所分析的代码，已经可以取到正确解码后的一帧数据了。接下来就要把这一帧放入FrameQueue：

duration = (frame_rate.num && frame_rate.den ? av_q2d((AVRational){frame_rate.den, frame_rate.num}) : 0);
pts = (frame->pts == AV_NOPTS_VALUE) ? NAN : frame->pts * av_q2d(tb);
ret = queue_picture(is, frame, pts, duration, frame->pkt_pos, is->viddec.pkt_serial);
av_frame_unref(frame);

主要调用queue_picture：

static int queue_picture(VideoState *is, AVFrame *src_frame, double pts, double duration, int64_t pos, int serial)
{
    Frame *vp;

    if (!(vp = frame_queue_peek_writable(&is->pictq)))
        return -1;

    vp->sar = src_frame->sample_aspect_ratio;
    vp->uploaded = 0;

    vp->width = src_frame->width;
    vp->height = src_frame->height;
    vp->format = src_frame->format;

    vp->pts = pts;
    vp->duration = duration;
    vp->pos = pos;
    vp->serial = serial;

    set_default_window_size(vp->width, vp->height, vp->sar);

    av_frame_move_ref(vp->frame, src_frame);
    frame_queue_push(&is->pictq);
    return 0;
}

queue_picture的代码很直白，先frame_queue_peek_writable取FrameQueue的当前写节点，然后把该拷贝的拷贝给节点(struct Frame)保存，然后frame_queue_push，“push”节点到队列中。唯一需要关注的是，AVFrame的拷贝是通过av_frame_move_ref实现的，所以拷贝后src_frame就是无效的了。

关于FrameQueue的操作，和分析，见： https://zhuanlan.zhihu.com/p/43564980

至此，video的解码过程，除fitler部分，基本都分析完了。

audio的解码过程，不考虑filter部分，与video的解码几乎一样。就不重复分析了。

subtitle的解码过程略有不同，关注下不同的地方。

static int subtitle_thread(void *arg)
{
    VideoState *is = arg;
    Frame *sp;
    int got_subtitle;
    double pts;

    for (;;) {
        //注意这里是先frame_queue_peek_writable再decoder_decode_frame
        if (!(sp = frame_queue_peek_writable(&is->subpq)))
            return 0;

        if ((got_subtitle = decoder_decode_frame(&is->subdec, NULL, &sp->sub)) < 0)
            break;

        pts = 0;

        if (got_subtitle && sp->sub.format == 0) {
            if (sp->sub.pts != AV_NOPTS_VALUE)
                pts = sp->sub.pts / (double)AV_TIME_BASE;
            sp->pts = pts;
            sp->serial = is->subdec.pkt_serial;
            sp->width = is->subdec.avctx->width;
            sp->height = is->subdec.avctx->height;
            sp->uploaded = 0;

            /* now we can update the picture count */
            frame_queue_push(&is->subpq);
        } else if (got_subtitle) {
            avsubtitle_free(&sp->sub);
        }
    }
    return 0;
}

主要流程是：

  1. frame_queue_peek_writable先取一个可写的帧节点
  2. decoder_decode_frame解码一帧字幕

我们会发现subtitle_thread中的主流程顺序和video_thread是相反的，video_thread是先解码后取可写的帧节点，然后写入。

这里，我的猜测是：由于字幕的FrameQueue消耗比较慢（比如常见的一句话对应一帧），这就导致FrameQueue经常是处于堆满的状态。如果先解码，再调用frame_queue_peek_writable，大概率会被阻塞，期间如果发生seek，则解码的这一帧就浪费了。与其先解码再等锁，不如先等锁再解码。当然，这只是一个猜测，具体原因，彻底搞明白了再更新。

解码字幕的时候还走avcodec_decode_subtitle2，对应的decoder_decode_frame简化为：

static int decoder_decode_frame(Decoder *d, AVFrame *frame, AVSubtitle *sub) {
    int ret = AVERROR(EAGAIN);
    for (;;) {
        //1. 判断返回值
        if (d->queue->serial == d->pkt_serial) {
            do {
                if (ret == AVERROR_EOF) {
                    return 0;
                }
                if (ret >= 0)
                    return 1;
            } while (ret != AVERROR(EAGAIN));
        }

        //2. 取pkt
        packet_queue_get(d->queue, &pkt, 1, &d->pkt_serial);

        //3.解码
        ret = avcodec_decode_subtitle2(d->avctx, sub, &got_frame, &pkt);
        if (ret < 0) {
            ret = AVERROR(EAGAIN);
        } else {
            if (got_frame && !pkt.data) {//如果是null_packet，且置为pending，下次继续
               d->packet_pending = 1;
               av_packet_move_ref(&d->pkt, &pkt);
            }
            ret = got_frame ? 0 : (pkt.data ? AVERROR(EAGAIN) : AVERROR_EOF);
        }
    }
}

因为和audio/video共用一个函数，而又用的avcodec_decode_subtitle2（相比send/receive只一个函数完成解码）解字幕，所以代码顺序看起来会有些奇怪：

  1. 判断返回值
  2. 取pkt
  3. 解码

步骤1，在步骤3后更合适，但因为是循环体内，所以，也是可以正确运行的。

对于avcodec_decode_subtitle2这里有一个null_packet的处理，null_packet一般在文件读取结束后发出。

static int packet_queue_put_nullpacket(PacketQueue *q, int stream_index)
{
AVPacket pkt1, *pkt = &pkt1; av_init_packet(pkt); pkt->data = NULL; pkt->size = 0; pkt->stream_index = stream_index; return packet_queue_put(q, pkt);
}

在解码字幕时，null_packet用于最后将解码器内剩余的解码数据取出。如果还能取到数据（got_frame == 1），则将null_packet暂存d->pkt，置packet_pending，下次继续取。直到avcodec_decode_subtitle2返回got_frame == 0.

关于这部分的逻辑，在avcodec_decode_subtitle2的注释中有说明：

/* Some decoders (those marked with AV_CODEC_CAP_DELAY) have a delay between input
 * and output. This means that for some packets they will not immediately
 * produce decoded output and need to be flushed at the end of decoding to get
 * all the decoded data. Flushing is done by calling this function with packets
 * with avpkt->data set to NULL and avpkt->size set to 0 until it stops
 * returning subtitles. It is safe to flush even those decoders that are not
 * marked with AV_CODEC_CAP_DELAY, then no subtitles will be returned.
 */

至此，关于ffplay的解码部分就分析完了。

oncealong
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ffmpeg/ffplay 源码解析 最完整的全套学习资源 源码 可直接编译
03-27
ffmpeg/ffplay 源码解析 最完整的全套学习资源 源码 可直接编译 目录结构如下 .\ffplay\ .\sdl\ .\src\ .\yuv\ .\ffdoc.pdf
ffplay for windows
10-19
“支持同时播放多个视频”意味着该版本的FFplay具备多线程处理能力，可以同时处理并播放多个视频流，这对于需要在同一个应用或环境中显示多个视频源的场景非常有用，如监控系统、视频会议或者多窗口媒体播放器等。...
ffplay 线程分析
chao
02-27 510
大概跟了一下代码 里面比较只要的有五个线程 四个队列1  video_thread 从pkt queue里面取到pkt解码然后放到frame queue里面stream_component_open--&gt;SDL_CreateThread--&gt;video_thread--&gt;get_video_frame--&gt;decoder_decode_framepacket_queue_g...
【流媒体】 通过ffmpeg硬解码拉流RTSP并播放
最新发布
weixin_68880273的博客
07-13 1623
目前RTSP拉流是网络摄像头获取图片数据常用的方法，但通过CPU软解码的方式不仅延时高且十分占用资源，本文提供了一种从网络摄像头RTSP硬解码的拉流的方法，并且提供python代码以便从网络摄像头获取图片进行后续算法处理。
FFplay简单分析
qw_stone的博客
08-23 338
原因：通过ffplay源码来分析音视频同步问题. 介绍： 1：线程主要分为：read_thread，audio_thread，video_thread，subtitle_thread，event_loop。 read_thread：主要用于读取源文件AVPacket数据并存放到对应的PacketQueue队列中. audio_thread：主要用于从audioq队列中中...
ffplay分析_笔记
tianyu的专栏 - Linux site:blog.csdn.net/wishfly
12-31 498
1.ffplay播放器原理剖析 https://blog.csdn.net/wu_cai_/article/details/80010416 2.ffplay.c函数结构简单分析（画图） https://blog.csdn.net/leixiaohua1020/article/details/39762143 3.ffmpeg中关于ffplay部分的概要分析－2 https://www....
ffplay audio输出线程分析
along
06-12 1200
转自：https://zhuanlan.zhihu.com/p/44139512 ffplay的audio输出同样也是通过SDL实现的。 同样地，本文主要介绍audio输出相关内容，且尽量不涉及音视频同步知识，音视频同步将在专门一篇分析。 audio的输出在SDL下是被动输出，即在开启SDL会在需要输出时，回调通知，在回调函数中，SDL会告知要发送多少的数据。（关于SDL音频输出可以参考这篇...
ffmpeg.rar_ffmpeg_ffplay
07-14
FFmpeg的源码分析可以帮助我们深入理解音视频处理的底层原理，包括编解码技术、帧处理、时序同步等核心概念。通过阅读和学习FFmpeg源码，开发者可以掌握以下关键知识点： 1. **多媒体编码和解码**：FFmpeg支持多种...
ffplay vs2013工程文件
09-15
3. **源码分析**：阅读和理解ffplay的源码，找出需要修改或扩展的部分。 4. **代码修改**：根据需求修改源码，然后重新编译和测试。 5. **打包发布**：完成修改后，可以生成可执行文件，并考虑打包成安装程序以便...
ffplay自定义播放器封装C#接口
05-14
提供了x86、x64dll、qt示例、C#封装对象代码及示例项目，不包含播放器c语言源码，请根据需要下载。...去除多线程解码后，内存使用大量降低，延迟降低（实时流），但解码性能会减弱，播放4k解码性能不足时考虑使用硬解。
ffplay.rar
05-27
集成ffplay到QT或MFC应用中，通常需要创建一个进程或线程来执行ffplay，并通过标准输入/输出或自定义通信机制传递命令和接收反馈。这样，你就可以在自己的界面中控制播放、暂停、停止等操作。 总的来说，"ffplay....
FFMPEG之FFPLAY完美教程
08-09
内含pdf文件，详细讲述了FFPLAY的各种知识。 改文档有助于帮助想入门FFmpeg的朋友。 内含pdf文件，详细讲述了FFPLAY的各种知识。 改文档有助于帮助想入门FFmpeg的朋友。
ffplay源代码vs2013工程文件 采用SDL2.0库
09-18
vs2013下建立的ffplay项目，采用sdl2.0的库，网上好多采用sdl2.0的ffplay都不支持音频播放，本项目支持音频播放、音视频同步，优化CPU的使用，项目文件中包含dll文件，无需单独下载ffmpeg和sdl的dll文件
ffplay的数据结构分析
万事亨通
01-19 623
ffplay的数据结构分析struct VideoState（ffplay中最大的一个封装结构，所有信息被包含在内）struct Clock（时间封装）struct MyAVPacketList（解码前数据，PacketQueue的一个节点）struct PacketQueue（解码前的Packet队列）struct Frame（解码后数据，FrameQueue队列的元素）struct FrameQueue（解码后的Frame队列）struct AudioParams（音频参数）struct Decoder
FFplay源码分析-read_thread
u012117034的博客
02-11 2983
FFplay源码分析-read_thread 本系列 以 ffmpeg4.2 源码为准，下载地址：链接：百度网盘 提取码：g3k8 FFplay 源码分析系列以一条简单的命令开始，ffplay -i a.mp4。a.mp4下载链接：百度网盘，提取码：nl0s 。 如下图所示，本文主要讲解 read_thread() 函数的内部逻辑。这个流程图是根据上面的命令ffplay -i a.mp4 画的，有些流程我省略了，因为不会执行某些代码，所以有些if判断我没画出来，为了简洁。 从上面的流程图可以看出， r
ffplay 源码剖析 -1 框架分析
qq_33329316的博客
04-14 452
ffplay.c的意义 ffplay.c是FFmpeg源码⾃带的播放器，调⽤FFmpeg和SDL API实现⼀个⾮常有⽤的播放器。 例如哔哩哔哩著名开源项⽬ijkplayer也是基于ffplay.c进⾏⼆次开发。 ffplay框架分析（和前面800行代码写一个播放器逻辑很相似） 黄线框 表示不同的线程控制 初始化 初始化packet queque 初始化frame queque 初始化clock 创建数据读取线程 线程划分 1 数据读取线程 打开媒体⽂件 打开对应码流的decoder以及初始化对应的a
ffplay数据读取线程
u012944685的专栏
04-27 499
在前面我们介绍了ffplay的总体架构和一些关键的数据结构。今天我们还是从这张图开始，主要介绍ffplay的读取线程部分。 图导出的可能有点模糊，再加上上传图床后不知道有没有更加模糊了，想要高清大图的可以后台留言，加v信索取。 从ffplay的main函数入口开始阅读源码，发现是在函数stream_open创建了资源读取线程，读取线程执行的函数是read_thread，所以要分析读取线程的工作内容，我们只需读懂函数read_thread即可。 下面是我加了注释的read_thread函数： /** *
ffplay.c解码分析
echo_eric的专栏
08-26 400
基于ffmpeg0.8.15版本的ffplay.c； 带
ffplay音视频解码线程
u012944685的专栏
04-27 1609
前面我们介绍了ffplay的调试环境集成、ffplay总体架构、ffplay的读取线程等相关内容，今天介绍下ffplay解码线程工作流程。 因为视频解码和音频解码的过程大概一致，因此本文主要介绍视频的解码线程内容，字幕的解码忽略… 我们还是从这张图开始： 图导出的可能有点模糊，再加上上传图床后不知道有没有更加模糊了，想要高清大图的可以后台留言，加v信索取。 从图中可以看出，解码线程的主要工作内容是将资源包从待解码队列中取出，然后送进解码器，最后将解码出的数据帧放入帧队列中，等待SDL获取播放。 解码过程
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值