ffplay解码线程分析

最新推荐文章于 2024-07-13 09:37:05 发布
最新推荐文章于 2024-07-13 09:37:05 发布
阅读量1.1k 收藏 5
点赞数
分类专栏： 音视频

转自： https://zhuanlan.zhihu.com/p/43948483

ffplay的解码线程独立于读线程，并且每种类型的流(AVStream)都有其各自的解码线程，如video_thread用于解码video stream，audio_thread用于解码audio stream，subtitle_thread用于解码subtitle stream。

为方便阅读，先列一张表格，梳理各个变量、函数名称。

其中PacketQueue用于存放从read_thread取到的各自播放时间内的AVPacket。FrameQueue用于存放各自解码后的AVFrame。Clock用于同步音视频。解码线程负责将PacketQueue数据解码为AVFrame，并存入FrameQueue。

对于不同流，其解码过程大同小异，我们先看下video_thead。

对于滤镜部分，先不做分析 ，简化后的代码如下(为方便阅读，以下代码还省略了部分局部变量的声明)：

static int video_thread(void *arg)
{
    AVRational tb = is->video_st->time_base;
    AVRational frame_rate = av_guess_frame_rate(is->ic, is->video_st, NULL);

    for (;;) {
        ret = get_video_frame(is, frame); //解码获取一帧视频画面
        if (ret < 0)//解码结束
            goto the_end;
        if (!ret)//没有解码得到画面
            continue;

        duration = (frame_rate.num && frame_rate.den ? av_q2d((AVRational){frame_rate.den, frame_rate.num}) : 0);//用帧率估计帧时长
        pts = (frame->pts == AV_NOPTS_VALUE) ? NAN : frame->pts * av_q2d(tb);//将pts转化为秒为单位
        ret = queue_picture(is, frame, pts, duration, frame->pkt_pos, is->viddec.pkt_serial);//将解码后的帧存入FrameQueue
        av_frame_unref(frame);

        if (ret < 0)
            goto the_end;
    }
 the_end:

    av_frame_free(&frame);
    return 0;
}

线程的总体流程很清晰：

  1. 调用get_video_frame解码一帧图像
  2. “计算”时长和pts
  3. 调用queue_picture放入FrameQueue

get_video_frame简化如下：

static int get_video_frame(VideoState *is, AVFrame *frame)
{
    int got_picture;

    if ((got_picture = decoder_decode_frame(&is->viddec, frame, NULL)) < 0)
        return -1;

    if (got_picture) {
        frame->sample_aspect_ratio = av_guess_sample_aspect_ratio(is->ic, is->video_st, frame);
        //……
    }

    return got_picture;
}

主要是调用decoder_decode_frame解码。

被简化的部分主要是针对丢帧的一个处理：

//if (got_picture) {
        double dpts = NAN;
        if (frame->pts != AV_NOPTS_VALUE)
            dpts = av_q2d(is->video_st->time_base) * frame->pts;
        if (framedrop>0 || (framedrop && get_master_sync_type(is) != AV_SYNC_VIDEO_MASTER)) {
            if (frame->pts != AV_NOPTS_VALUE) {
                double diff = dpts - get_master_clock(is);
                if (!isnan(diff) && fabs(diff) < AV_NOSYNC_THRESHOLD &&
                    diff - is->frame_last_filter_delay < 0 &&
                    is->viddec.pkt_serial == is->vidclk.serial &&
                    is->videoq.nb_packets) {
                        av_log(NULL, AV_LOG_ERROR, "drop early: %d\n", is->videoq.nb_packets);
                    is->frame_drops_early++;
                    av_frame_unref(frame);
                    got_picture = 0;
                }
            }
        }
//}

丢帧的主要条件是diff - is->frame_last_filter_delay < 0，frame_last_filter_delay与滤镜有关，可以先忽略，也就是diff < 0的时候丢帧——pts < get_master_clock(is)的时候丢帧。

控制是否丢帧的开关变量是framedrop，为1，则始终判断是否丢帧；为0，则始终不丢帧；为-1（默认值），则在主时钟不是video的时候，判断是否丢帧。

接下来看下真正解码的过程——decoder_decode_frame，这个函数也包含了对audio和subtitle的解码，同样，先看简化后的主干代码：

static int decoder_decode_frame(Decoder *d, AVFrame *frame, AVSubtitle *sub) {
    for (;;) {
        //1. 流连续的情况下，不断调用avcodec_receive_frame获取解码后的frame
        if (d->queue->serial == d->pkt_serial) {
            do {
                ret = avcodec_receive_frame(d->avctx, frame);
                if (ret == AVERROR_EOF) {
                    return 0;
                }
                if (ret >= 0)
                    return 1;
            } while (ret != AVERROR(EAGAIN));
        }

        //2. 取一个packet，顺带过滤“过时”的packet
        do {
            if (d->queue->nb_packets == 0)
                SDL_CondSignal(d->empty_queue_cond);
            if (packet_queue_get(d->queue, &pkt, 1, &d->pkt_serial) < 0)
                return -1;
        } while (d->queue->serial != d->pkt_serial);

        //3. 将packet送入解码器
        avcodec_send_packet(d->avctx, &pkt);
    }
}

decoder_decode_frame的主干代码是一个循环，要拿到一帧解码数据，或解码出错、文件结束，才会返回。

循环内可以分解为3个步骤：

  1. 流连续的情况下，不断调用avcodec_receive_frame获取解码后的frame。d->queue就是video PacketQueue(videoq)，d->pkt_serial是最近一次取的Packet的序列号。在判断完d->queue->serial == d->pkt_serial确保流连续后，循环调用avcodec_receive_frame，有取到帧，就返回。（即使还没送入新的Packet，这是为了兼容一个Packet可以解出多个Frame的情况）
  2. 取一个packet，顺带过滤“过时”的packet。主要阻塞调用packet_queue_get（参考PacketQueue的分析：https://zhuanlan.zhihu.com/p/43295650）。另外，会在PacketQueue为空时，发送empty_queue_cond条件信号，通知读线程继续读数据。（empty_queue_cond就是continue_read_thread，可以参考read线程的分析，查看读线程何时会等待该条件量：https://zhuanlan.zhihu.com/p/43672062）
  3. 将packet送入解码器。
avcodec_decode_video2已经被标记为废弃。
@deprecated Use avcodec_send_packet() and avcodec_receive_frame().
建议使用这两个函数进行解码。

在省略代码中有一个packet_pending的概念，用于在send失败时重新发送：

if (avcodec_send_packet(d->avctx, &pkt) == AVERROR(EAGAIN)) {
    av_log(d->avctx, AV_LOG_ERROR, "Receive_frame and send_packet both returned EAGAIN, which is an API violation.\n");
    d->packet_pending = 1;
    av_packet_move_ref(&d->pkt, &pkt);
}

如果avcodec_send_packet返回EAGAIN，则把当前pkt存入d->pkt，然后置标志位packet_pending为1。

packet_pending的读取在取Packet时：

do {
    if (d->queue->nb_packets == 0)
        SDL_CondSignal(d->empty_queue_cond);
    //如果有待重发的pkt，则先取待重发的pkt，否则从队列中取一个pkt
    if (d->packet_pending) {
        av_packet_move_ref(&pkt, &d->pkt);
        d->packet_pending = 0;
    } else {
        if (packet_queue_get(d->queue, &pkt, 1, &d->pkt_serial) < 0)
            return -1;
    }
} while (d->queue->serial != d->pkt_serial);

省略代码中还有针对flush_pkt的处理：

if (pkt.data == flush_pkt.data) {
    avcodec_flush_buffers(d->avctx);
    d->finished = 0;
    d->next_pts = d->start_pts;
    d->next_pts_tb = d->start_pts_tb;
}

了解过PacketQueue的代码，我们知道在往PacketQueue送入一个flush_pkt后，PacketQueue的serial值会加1，而送入的flush_pkt和PacketQueue的serial值保持一致。所以如果有“过时”Packet，过滤后，取到的第一个pkt将是flush_pkt。

根据api要求，此时需要调用avcodec_flush_buffers。

上面，我们就分析完了video_thread中关键的get_video_frame函数，根据所分析的代码，已经可以取到正确解码后的一帧数据了。接下来就要把这一帧放入FrameQueue：

duration = (frame_rate.num && frame_rate.den ? av_q2d((AVRational){frame_rate.den, frame_rate.num}) : 0);
pts = (frame->pts == AV_NOPTS_VALUE) ? NAN : frame->pts * av_q2d(tb);
ret = queue_picture(is, frame, pts, duration, frame->pkt_pos, is->viddec.pkt_serial);
av_frame_unref(frame);

主要调用queue_picture：

static int queue_picture(VideoState *is, AVFrame *src_frame, double pts, double duration, int64_t pos, int serial)
{
    Frame *vp;

    if (!(vp = frame_queue_peek_writable(&is->pictq)))
        return -1;

    vp->sar = src_frame->sample_aspect_ratio;
    vp->uploaded = 0;

    vp->width = src_frame->width;
    vp->height = src_frame->height;
    vp->format = src_frame->format;

    vp->pts = pts;
    vp->duration = duration;
    vp->pos = pos;
    vp->serial = serial;

    set_default_window_size(vp->width, vp->height, vp->sar);

    av_frame_move_ref(vp->frame, src_frame);
    frame_queue_push(&is->pictq);
    return 0;
}

queue_picture的代码很直白，先frame_queue_peek_writable取FrameQueue的当前写节点，然后把该拷贝的拷贝给节点(struct Frame)保存，然后frame_queue_push，“push”节点到队列中。唯一需要关注的是，AVFrame的拷贝是通过av_frame_move_ref实现的，所以拷贝后src_frame就是无效的了。

关于FrameQueue的操作，和分析，见： https://zhuanlan.zhihu.com/p/43564980

至此，video的解码过程，除fitler部分，基本都分析完了。

audio的解码过程，不考虑filter部分，与video的解码几乎一样。就不重复分析了。

subtitle的解码过程略有不同，关注下不同的地方。

static int subtitle_thread(void *arg)
{
    VideoState *is = arg;
    Frame *sp;
    int got_subtitle;
    double pts;

    for (;;) {
        //注意这里是先frame_queue_peek_writable再decoder_decode_frame
        if (!(sp = frame_queue_peek_writable(&is->subpq)))
            return 0;

        if ((got_subtitle = decoder_decode_frame(&is->subdec, NULL, &sp->sub)) < 0)
            break;

        pts = 0;

        if (got_subtitle && sp->sub.format == 0) {
            if (sp->sub.pts != AV_NOPTS_VALUE)
                pts = sp->sub.pts / (double)AV_TIME_BASE;
            sp->pts = pts;
            sp->serial = is->subdec.pkt_serial;
            sp->width = is->subdec.avctx->width;
            sp->height = is->subdec.avctx->height;
            sp->uploaded = 0;

            /* now we can update the picture count */
            frame_queue_push(&is->subpq);
        } else if (got_subtitle) {
            avsubtitle_free(&sp->sub);
        }
    }
    return 0;
}

主要流程是：

  1. frame_queue_peek_writable先取一个可写的帧节点
  2. decoder_decode_frame解码一帧字幕

我们会发现subtitle_thread中的主流程顺序和video_thread是相反的，video_thread是先解码后取可写的帧节点，然后写入。

这里，我的猜测是：由于字幕的FrameQueue消耗比较慢（比如常见的一句话对应一帧），这就导致FrameQueue经常是处于堆满的状态。如果先解码，再调用frame_queue_peek_writable，大概率会被阻塞，期间如果发生seek，则解码的这一帧就浪费了。与其先解码再等锁，不如先等锁再解码。当然，这只是一个猜测，具体原因，彻底搞明白了再更新。

解码字幕的时候还走avcodec_decode_subtitle2，对应的decoder_decode_frame简化为：

static int decoder_decode_frame(Decoder *d, AVFrame *frame, AVSubtitle *sub) {
    int ret = AVERROR(EAGAIN);
    for (;;) {
        //1. 判断返回值
        if (d->queue->serial == d->pkt_serial) {
            do {
                if (ret == AVERROR_EOF) {
                    return 0;
                }
                if (ret >= 0)
                    return 1;
            } while (ret != AVERROR(EAGAIN));
        }

        //2. 取pkt
        packet_queue_get(d->queue, &pkt, 1, &d->pkt_serial);

        //3.解码
        ret = avcodec_decode_subtitle2(d->avctx, sub, &got_frame, &pkt);
        if (ret < 0) {
            ret = AVERROR(EAGAIN);
        } else {
            if (got_frame && !pkt.data) {//如果是null_packet，且置为pending，下次继续
               d->packet_pending = 1;
               av_packet_move_ref(&d->pkt, &pkt);
            }
            ret = got_frame ? 0 : (pkt.data ? AVERROR(EAGAIN) : AVERROR_EOF);
        }
    }
}

因为和audio/video共用一个函数，而又用的avcodec_decode_subtitle2（相比send/receive只一个函数完成解码）解字幕，所以代码顺序看起来会有些奇怪：

  1. 判断返回值
  2. 取pkt
  3. 解码

步骤1，在步骤3后更合适，但因为是循环体内，所以，也是可以正确运行的。

对于avcodec_decode_subtitle2这里有一个null_packet的处理，null_packet一般在文件读取结束后发出。

static int packet_queue_put_nullpacket(PacketQueue *q, int stream_index)
{
AVPacket pkt1, *pkt = &pkt1; av_init_packet(pkt); pkt->data = NULL; pkt->size = 0; pkt->stream_index = stream_index; return packet_queue_put(q, pkt);
}

在解码字幕时，null_packet用于最后将解码器内剩余的解码数据取出。如果还能取到数据（got_frame == 1），则将null_packet暂存d->pkt，置packet_pending，下次继续取。直到avcodec_decode_subtitle2返回got_frame == 0.

关于这部分的逻辑，在avcodec_decode_subtitle2的注释中有说明：

/* Some decoders (those marked with AV_CODEC_CAP_DELAY) have a delay between input
 * and output. This means that for some packets they will not immediately
 * produce decoded output and need to be flushed at the end of decoding to get
 * all the decoded data. Flushing is done by calling this function with packets
 * with avpkt->data set to NULL and avpkt->size set to 0 until it stops
 * returning subtitles. It is safe to flush even those decoders that are not
 * marked with AV_CODEC_CAP_DELAY, then no subtitles will be returned.
 */

至此，关于ffplay的解码部分就分析完了。

oncealong
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ffplay for windows
10-19
“支持同时播放多个视频”意味着该版本的FFplay具备多线程处理能力，可以同时处理并播放多个视频流，这对于需要在同一个应用或环境中显示多个视频源的场景非常有用，如监控系统、视频会议或者多窗口媒体播放器等。...
ffplay源码分析4-音视频同步
爱自在的专栏
12-04 282
本文为作者原创，转载请注明出处：https://www.cnblogs.com/leisure_chn/p/10307089.html ffplay是FFmpeg工程自带的简单播放器，使用FFmpeg提供的解码器和SDL库进行视频播放。本文基于FFmpeg工程4.1版本进行分析，其中ffplay源码清单如下：https://github.com/FFmpeg/FFmpeg/blob/n4.1/fftools/ffplay.c 在尝试分析源码前，可先阅读如下参考文章作为铺垫： [1].雷霄骅，视音频编解.
音视频中的PTS和DTS及同步
lucky的专栏
11-25 758
说明：此页是所有索引的集合，从此出发，可以找到博客的所有链接。 网络相关索引：https://blog.csdn.net/knowledgebao/article/details/84626184 linux基础相关索引：https://blog.csdn.net/knowledgebao/article/details/84315842 GStreamer专栏索引：https://blog.csdn.net/knowledgebao/article/details/84621238 Gobject
【流媒体】 通过ffmpeg硬解码拉流RTSP并播放
最新发布
weixin_68880273的博客
07-13 1647
目前RTSP拉流是网络摄像头获取图片数据常用的方法，但通过CPU软解码的方式不仅延时高且十分占用资源，本文提供了一种从网络摄像头RTSP硬解码的拉流的方法，并且提供python代码以便从网络摄像头获取图片进行后续算法处理。
FFmpeg简易播放器的实现5-音视频同步
yinshipin007的博客
04-20 493
如果仅仅是视频按帧率播放，音频按采样率播放，二者没有同步机制，即使最初音视频是基本同步的，随着时间的流逝，音视频会逐渐失去同步，并且不同步的现象会越来越严重。[4]. 解码器中会缓存一定数量的帧，一个新的解码动作启动后，向解码器送入好几个 packet 后解码器才会输出第一个 packet，这比较容易理解，因为解码时帧之间有信赖关系，例如 IPB 三个帧被送入解码器后，B 帧解码需要依赖 I 帧和 P 帧，所以在 B 帧输出前，I 帧和 P 帧必须存在于解码器中而不能删除。为简便，就不贴图了。
ffprobe常用命令使用
weixin_41605683的博客
05-07 961
文章目录前言1，ffprobe -show_format的使用2，ffprobe -show_streams的使用3，ffprobe -show_packets的使用4，ffprobe -show_frames的使用样式 前言 下面的命令主要是按照包含关系的顺序排序的：文件（对应format）、文件里面的流（对应是stream）、流的组成packet(对应的是packets)、packet里面包含的frame（对应的是frames） 1，ffprobe -show_format的使用 用来查看当前文件的信息
ffmpeg ffprobe FRAME字段解析（best_effort_timestamp_time、pix_fmt、sample_aspect_ratio、pict_type等）
Dontla的博客
12-19 1345
在数据流处理中，如果一个系统标记"best_effort_timestamp"，那可能意味着它尝试为每个接收到的数据包分配一个时间戳，但由于各种原因（比如网络延迟或系统繁忙），这个时间戳可能并不完全准确。除了关键帧（I帧）之外，还包括P帧和B帧。在视频压缩编码中，关键帧（也被称为I帧）是完整的图像帧，不依赖其他帧就可以独立解码。则提供了更多关于帧类型的信息，包括是否为P帧或B帧。在此例中，它是’yuv420p’，这意味着使用了4:2:0的色度子采样。在此例中，它是"video"，表明这是一个视频帧。
ffmpeg.rar_ffmpeg_ffplay
07-14
FFmpeg的源码分析可以帮助我们深入理解音视频处理的底层原理，包括编解码技术、帧处理、时序同步等核心概念。通过阅读和学习FFmpeg源码，开发者可以掌握以下关键知识点： 1. **多媒体编码和解码**：FFmpeg支持多种...
ffplay vs2013工程文件
09-15
3. **源码分析**：阅读和理解ffplay的源码，找出需要修改或扩展的部分。 4. **代码修改**：根据需求修改源码，然后重新编译和测试。 5. **打包发布**：完成修改后，可以生成可执行文件，并考虑打包成安装程序以便...
ffplay自定义播放器封装C#接口
05-14
提供了x86、x64dll、qt示例、C#封装对象代码及示例项目，不包含播放器c语言源码，请根据需要下载。...去除多线程解码后，内存使用大量降低，延迟降低（实时流），但解码性能会减弱，播放4k解码性能不足时考虑使用硬解。
ffplay.rar
05-27
集成ffplay到QT或MFC应用中，通常需要创建一个进程或线程来执行ffplay，并通过标准输入/输出或自定义通信机制传递命令和接收反馈。这样，你就可以在自己的界面中控制播放、暂停、停止等操作。 总的来说，"ffplay....
FFmpeg简易播放器的实现——音视频播放（含音视频同步）
从事厨房信息化行业，万能对接所有点餐系统，kds，智能控菜，酒店协调软件
01-25 555
播放声音的时候变快或者变慢解决办法：当我们打开音频设备的时候，大部分代码用的都是SDL_OpenAudio，该函数总算打开ID 1.改为调用SDL_OpenAudioDevice。因为有些设备默认音频设备不是1.请注意二者的区别。
FFMPEG学习【libavcodec】：解码
一世豁然的专栏
05-02 3064
一、模块 Frame Parsing 二、宏 #define AV_INPUT_BUFFER_PADDING_SIZE 32 注释：在输入比特流结尾的要求附加分配字节的数量上进行解码。 这主要是因为一些优化的比特流读取器一次读取32位或64位，并且可以读取结束字节之外。 注意：如果附加字节的前23位不为0，则损坏的MPEG比特流可能会导致重读和segfau
ffmpeg学习2 最简单的播放器
graphics_521的专栏
01-29 350
运行环境： Mac OS 10.15 FFMPEG版本： 4.2.2 SDL: 2.0 参考https://blog.csdn.net/leixiaohua1020/article/details/38868499 // // main.cpp // ffmpeg_sample2 // // Created by gaoguanglei on 2020/1/24. // Cop...
ffplay.c函数结构简单分析（画图）
热门推荐
雷霄骅(leixiaohua1020)的专栏
10-04 3万+
最近重温了一下FFplay的源代码。FFplay是FFmpeg项目提供的播放器示例。尽管FFplay只是一个简单的播放器示例，它的源代码的量也是不少的。之前看代码，主要是集中于某一个“点”进行研究，而没有从总体结构上进行分析。本文就打算弥补之前学习的不足，从总体结构上分析一下FFplay的源代码，画图理一下它的结构。其中还有诸多不足，以后有机会慢慢完善。
"_iconv", "_iconv_open", "_iconv_close",这种错误的解决办法
张乾坤
03-24 4842
Undefined symbols for architecture armv7:   "_iconv", referenced from:       _avcodec_decode_subtitle2 in libavcodec.a(utils.o)   "_iconv_open", referenced from:       _avcodec_open2 in li
使用FFMpeg 提取MKV文件中的字幕
不会飞的纸飞机的博客
08-26 8623
MKV封装格式是万能封装格式，可以封装几乎所有的视频和音频编码格式。可以包含多个视频流、音频流和字幕流。本文将介绍使用FFMpeg 解码视频文件，提去字幕内容并保存。这里仅提取ASS格式的字幕文件。 使用FFMpeg解MKV封装，获取字幕流信息 void FFMpegAssThread::openVideoFile(QString fileName) { // 打开视频文件 i...
【FFmpeg】av_guess_frame_rate
突围
05-06 704
流的帧率 基于容器和编码信息 猜测的是AVFrame的。 可以传递null /** * Guess the frame rate, based on both the container and codec information. * * @param ctx the format context which the stream is part of * @param stream the stream which the frame is part of * @param fra..
ffmpeg帧率计算
weixin_39399492的博客
09-16 2322
1、ffmpeg在转码过程中，输出文件的帧率如何确定。2、深入ffmpeg源码，剖析帧率的数据来源，涉及到的有 基本帧率(tbr/r_frame_rate)、平均帧率(fps/avg_frame_rate)以及编码器帧率(framerate)的数值是如何获取和计算的，以及它们之间的关系。3、上述数据如何通过ffmpeg/ffprobe/ffplay获取。
FFmpeg教程：视频音频转码与解码解析
"FFmpeg教程讲解了如何使用FFmpeg进行视频和音频的转码与解码，涵盖了FFPLAY的工作原理、文件结构、流、帧、编码解码器以及同步技术等核心概念。" FFmpeg是一个强大的开源多媒体处理工具，它可以用于处理各种视频和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值