【FFmpeg】ffplay源代码音视频同步分析-音频同步分析

最新推荐文章于 2024-04-09 06:15:25 发布
最新推荐文章于 2024-04-09 06:15:25 发布
阅读量1.2k 收藏 2
点赞数
分类专栏： FFmpeg 文章标签： 音视频 ffmpeg
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39413066/article/details/122064965
版权

ffplay源代码音视频同步分析（2）

前文：

音频同步分析

音频同步主要在audio_decode_frame函数完成，同步的基本逻辑如下：

在这里插入图片描述

Windows和非Windows平台有一些不同，主要在是否判断队列为空。（至于为什么要如此做，我暂时也不太清楚，大概和SDL在Windows下的实现有关）

具体代码分析：

static int audio_decode_frame(VideoState *is)
{
	......
    do {
#if defined(_WIN32)
        while (frame_queue_nb_remaining(&is->sampq) == 0) {
            if ((av_gettime_relative() - audio_callback_time) > 1000000LL * is->audio_hw_buf_size / is->audio_tgt.bytes_per_sec / 2)
                return -1;
            av_usleep (1000);
        }
#endif
        if (!(af = frame_queue_peek_readable(&is->sampq)))
            return -1;
        frame_queue_next(&is->sampq);
    } while (af->serial != is->audioq.serial);
    
    // 根据与参考时钟的差值，计算应该输出的样本数
    wanted_nb_samples = synchronize_audio(is, af->frame->nb_samples);
	
    /* 
    判断是否需要重采样，判断标准：
    	1. 取出的音频帧是否和上一帧的format、channel_layout和freq是否相同
    	2. 输出的样本数与取出的音频帧样本数不同（音频同步）
    */
    if (af->frame->format        != is->audio_src.fmt            ||
        dec_channel_layout       != is->audio_src.channel_layout ||
        af->frame->sample_rate   != is->audio_src.freq           ||
        (wanted_nb_samples       != af->frame->nb_samples && !is->swr_ctx)) {
        swr_free(&is->swr_ctx);
        is->swr_ctx = swr_alloc_set_opts(NULL,
                                        is->audio_tgt.channel_layout, is->audio_tgt.fmt, is>audio_tgt.freq,
                                        dec_channel_layout,af->frame->format, af->frame->sample_rate,
                                        0, NULL);
        if (!is->swr_ctx || swr_init(is->swr_ctx) < 0) {
            av_log(NULL, AV_LOG_ERROR,
                   "Cannot create sample rate converter for conversion of %d Hz %s %d channels to %d Hz %s %d channels!\n",
                    af->frame->sample_rate, av_get_sample_fmt_name(af->frame->format), af->frame->channels,
                    is->audio_tgt.freq, av_get_sample_fmt_name(is->audio_tgt.fmt), is->audio_tgt.channels);
            swr_free(&is->swr_ctx);
            return -1;
        }
        is->audio_src.channel_layout = dec_channel_layout;
        is->audio_src.channels       = af->frame->channels;
        is->audio_src.freq = af->frame->sample_rate;
        is->audio_src.fmt = af->frame->format;
    }
	
    // 重采样，利用重采样库进行样本的插入或剔除
    if (is->swr_ctx) {
        const uint8_t **in = (const uint8_t **)af->frame->extended_data;
        uint8_t **out = &is->audio_buf1;
        int out_count = (int64_t)wanted_nb_samples * is->audio_tgt.freq / af->frame->sample_rate + 256;
        int out_size  = av_samples_get_buffer_size(NULL, is->audio_tgt.channels, out_count, is->audio_tgt.fmt, 0);
        int len2;
        if (out_size < 0) {
            av_log(NULL, AV_LOG_ERROR, "av_samples_get_buffer_size() failed\n");
            return -1;
        }
        if (wanted_nb_samples != af->frame->nb_samples) {
            if (swr_set_compensation(is->swr_ctx, (wanted_nb_samples - af->frame->nb_samples) * is->audio_tgt.freq / af->frame->sample_rate,
                                        wanted_nb_samples * is->audio_tgt.freq / af->frame->sample_rate) < 0) {
                av_log(NULL, AV_LOG_ERROR, "swr_set_compensation() failed\n");
                return -1;
            }
        }
        av_fast_malloc(&is->audio_buf1, &is->audio_buf1_size, out_size);
        if (!is->audio_buf1)
            return AVERROR(ENOMEM);
        len2 = swr_convert(is->swr_ctx, out, out_count, in, af->frame->nb_samples);
        if (len2 < 0) {
            av_log(NULL, AV_LOG_ERROR, "swr_convert() failed\n");
            return -1;
        }
        if (len2 == out_count) {
            av_log(NULL, AV_LOG_WARNING, "audio buffer is probably too small\n");
            if (swr_init(is->swr_ctx) < 0)
                swr_free(&is->swr_ctx);
        }
        is->audio_buf = is->audio_buf1;
        resampled_data_size = len2 * is->audio_tgt.channels * av_get_bytes_per_sample(is->audio_tgt.fmt);
    } else { //如果swr_ctx没有初始化过，说明无需重采样
        is->audio_buf = af->frame->data[0];
        resampled_data_size = data_size;
    }
	
    // 更新音频时钟，audio_clock最终会在sdl_audio_callback函数中更新audclk
    /* update the audio clock with the pts */
    if (!isnan(af->pts))
        is->audio_clock = af->pts + (double) af->frame->nb_samples / af->frame->sample_rate;
    else
        is->audio_clock = NAN;
    is->audio_clock_serial = af->serial;
	
    ......
}

sdl_audio_callback函数中更新audclk：

static void sdl_audio_callback(void *opaque, Uint8 *stream, int len)
{
    ······

    while (len > 0) {
        if (is->audio_buf_index >= is->audio_buf_size) {
           audio_size = audio_decode_frame(is);
           ······
        }
        ······
    }
	
    /* Let's assume the audio driver that is used by SDL has two periods. */
    if (!isnan(is->audio_clock)) {
        set_clock_at(&is->audclk, is->audio_clock - (double)(2 * is->audio_hw_buf_size + is->audio_write_buf_size) / is->audio_tgt.bytes_per_sec, is->audio_clock_serial, audio_callback_time / 1000000.0);
        sync_clock_to_slave(&is->extclk, &is->audclk);
    }
}

计算应该输出的样本数是同步音视频重要部分，主要由synchronize_audio函数实现。下面分析一下这个函数：

/* return the wanted number of samples to get better sync if sync_type is video
 * or external master clock */
static int synchronize_audio(VideoState *is, int nb_samples)
{
    int wanted_nb_samples = nb_samples;
	
    /* if not master, then we try to remove or add samples to correct the clock 
    	当参照时钟为视频时钟或外部时钟时，需要调整输出的样本数 */
    if (get_master_sync_type(is) != AV_SYNC_AUDIO_MASTER) {
        double diff, avg_diff;
        int min_nb_samples, max_nb_samples;

        diff = get_clock(&is->audclk) - get_master_clock(is);

        if (!isnan(diff) && fabs(diff) < AV_NOSYNC_THRESHOLD) {
            is->audio_diff_cum = diff + is->audio_diff_avg_coef * is->audio_diff_cum;
            if (is->audio_diff_avg_count < AUDIO_DIFF_AVG_NB) {
                /* not enough measures to have a correct estimate */
                is->audio_diff_avg_count++;
            } else {
                /* estimate the A-V difference */
                avg_diff = is->audio_diff_cum * (1.0 - is->audio_diff_avg_coef);

                if (fabs(avg_diff) >= is->audio_diff_threshold) {
                    wanted_nb_samples = nb_samples + (int)(diff * is->audio_src.freq);
                    min_nb_samples = ((nb_samples * (100 - SAMPLE_CORRECTION_PERCENT_MAX) / 100));
                    max_nb_samples = ((nb_samples * (100 + SAMPLE_CORRECTION_PERCENT_MAX) / 100));
                    wanted_nb_samples = av_clip(wanted_nb_samples, min_nb_samples, max_nb_samples);
                }
                av_log(NULL, AV_LOG_TRACE, "diff=%f adiff=%f sample_diff=%d apts=%0.3f %f\n",
                        diff, avg_diff, wanted_nb_samples - nb_samples,
                        is->audio_clock, is->audio_diff_threshold);
            }
        } else {
            /* too big difference : may be initial PTS errors, so
               reset A-V filter */
            is->audio_diff_avg_count = 0;
            is->audio_diff_cum       = 0;
        }
    }

    return wanted_nb_samples;
}

当音频时钟与参照时钟差距（diff）大于10（AV_NOSYNC_THRESHOLD）时，音频时钟和参照时钟差距太大，可能是初始PTS错误，因此重置计数器（audio_diff_avg_count）和audio_diff_cum（暂时不知道是什么）。

当音频时钟与参照时钟差距（diff）在10内时：

  • 在开始播放的20（AUDIO_DIFF_AVG_NB）个帧内，不调整输出的样本数，主要用来累计audio_diff_cum。根据注释，原因应该是帧数不够，不足以计算正确的avg_diff。
  • 计算avg_diff = is->audio_diff_cum * (1.0 - is->audio_diff_avg_coef)

audio_diff_avg_coef可能是平均filter差距，根据初始化时的注释：

static int stream_component_open(VideoState *is, int stream_index) 
{
    ......
    /* init averaging filter */
	is->audio_diff_avg_coef  = exp(log(0.01) / AUDIO_DIFF_AVG_NB);
    is->audio_diff_avg_count = 0;
    ......
}

在得到avg_diff之后，判断avg_diff是否大于需要调整的阈值audio_diff_threshold。如果需要调整，那么

wanted_nb_samples = nb_samples + (int)(diff * is->audio_src.freq);
min_nb_samples = ((nb_samples * (100 - SAMPLE_CORRECTION_PERCENT_MAX) / 100));
max_nb_samples = ((nb_samples * (100 + SAMPLE_CORRECTION_PERCENT_MAX) / 100));
wanted_nb_samples = av_clip(wanted_nb_samples, min_nb_samples, max_nb_samples);

通过diff乘上音频数据频率得到需要的输出样本数，而且样本数必须在原来音频帧样本数nb_samples的0.9-1.1倍范围内的整数。如果不在范围内，那么就取0.9的nb_samples或1.1nb_samples。
同步阈值audio_diff_threshold初始化为：

is->audio_diff_threshold = (double)(is->audio_hw_buf_size) / is->audio_tgt.bytes_per_sec;

Reference

ffplay音视频同步分析——音频同步视频 - 知乎 (zhihu.com)

YCChiang
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ffmpeg视频转码及音量分析调整
poetteaes的博客
04-24 8642
（一）查看音量 方法一：ffmpeg查看EBU R.128标准下的响度参数 音频的响度标准可参考EBU R.128标准（详情可见https://tech.ebu.ch/loudness/） ffmpeg -nostats -i test.mp4 -filter_complex ebur128 -f null - 可以看到响度参数为： I(整体响度)：-16.0LUFS LRA(响度范...
ffplayer,ffmpeg音视频同步
11-26
在"ffplay-refactor-master"这个压缩包中，可能包含了ffplayer源代码的一个重构版本，可能已经更新了代码结构，优化了性能，或者添加了特定的功能，比如改进了音视频同步算法。使用这个重构后的版本，开发者可以更...
音视频-ffplay的音视频同步
蜗牛想飞翔
04-12 682
从ffplay学习音视频同步
FFmpeg-之音视频解码与音视频同步（二）
最新发布
2301_76278747的博客
04-09 590
OverridemProgressDialog.setMessage(“正在解码…”);break;break;mProgressDialog.setMessage(“正在解码…”);break;break;
ffplay.c学习-4-⾳频输出和⾳频重采样
努力努力再努力L
04-29 210
ffplay.c学习-4-⾳频输出和⾳频重采样 目录 ⾳频输出模块 打开SDL⾳频设备 打开⾳频设备audio_open 回调函数逻辑sdl_audio_callback 回调函数读取数据 ⾳频重采样 重采样逻辑 样本补偿 1. ⾳频输出模块 ffplay的⾳频输出通过SDL实现。 ⾳频输出的主要流程： 打开SDL⾳频设备，设置参数 启动SDL⾳频设备播放 SDL⾳频回调函数读取数据，这个时候我们就要从FrameQueue读取frame填充回调函数提供的buffer空间。 aud
ffmpeg多线程简单播放器-主要函数梳理
qq_33329316的博客
03-11 3184
主要是后面几个函数 首先是 主函数 基础定义 VideoState *is; is = av_mallocz(sizeof(VideoState)); if(SDL_Init(SDL_INIT_VIDEO | SDL_INIT_AUDIO | SDL_INIT_TIMER)) { fprintf(stderr, "Could not initialize SDL - %s\n", SDL_GetError()); exit(1); } is->pictq_mutex
ffmpeg常用命令详解
卿翩若惊鸿的博客
03-09 1831
ffmpeg常用命令详解
ffplay源代码vs2013工程文件 采用SDL2.0库
09-18
vs2013下建立的ffplay项目，采用sdl2.0的库，网上好多采用sdl2.0的ffplay都不支持音频播放，本项目支持音频播放、音视频同步，优化CPU的使用，项目文件中包含dll文件，无需单独下载ffmpeg和sdl的dll文件
ffmpeg 0.8.1 源代码
05-28
3. **FFmpeg 命令行工具**：在源代码中，你可以找到`ffmpeg`命令行工具，它可以直接在终端上执行音视频的转码、裁剪、合并等操作。例如，可以使用`ffmpeg`将一个视频文件转换为不同的格式，或者提取音频流。 4. **...
ffplay音频视频播放器
01-08
FFplay的优势在于其内核是FFmpeg，这是一个强大的多媒体处理库，包含了音视频编解码、网络流媒体、多媒体设备控制等多种功能。 FFmpeg的核心组件包括libavcodec（编解码库）、libavformat（多媒体容器格式解析库）...
ffmpeg 2022-04-18版本的exe程序，包含ffmpeg、ffplay、ffprobe
04-21
尽管它的功能相对基础，但它是了解 FFmpeg 内部工作原理的好工具，因为它的源代码展示了如何使用 FFmpeg 库来解码和播放媒体内容。 3. ffprobe： ffprobe 是一个用于分析媒体文件信息的工具。它可以显示文件的详细...
video_demo:ffmpeg简单实现音视频同步播放
03-18
FFmpeg_video_demo 译文：C ++用FFmpeg和SDL实现音视频同步播放服务，包括直播，点播，播放本地视频ZasLeonPlayer 代码依旧存在的问题：播放mp3时，显示的图片会失真。。。 环境： Windows 7的 Visual Studio 2010 FFmpeg-n4.3.1-30-g666d2fc6e2-win64-gpl-shared-4.3 SDL2-2.0.14 文件说明： 直播流测试： : 具体程序解释请看原始注释注释和程序结构详解！ 对视频实现播放： 对视频帧的解码和播放已经忘了保存二进制路径了。。。 对音频实现播放： 音频帧的原始码是 ，但他二进制有点坑，因为没实现切换播放缓存，导致缓存一用完声音就没法播放了，所以我自己调用了一下大堆逻辑控制参数去实现音频缓存切换。另外我的音频是在线程中实现的。 我的原理：设置自定义个缓存块，当缓存块即将
ffmpeg 命令行总结
风的轨迹
12-30 1016
ffmpeg 命令行总结
ffmpeg播放器实现详解 - 音频同步控制
Lce的专栏
06-26 1963
1、同步的时间基准 有3种时间基准，即音频时钟、视频时钟与系统时钟，与音频时钟的原理类似类似，这次我们来介绍视频时钟与系统时钟。1.1 视频时间戳计算 与音频时钟类似，视频时钟用来追踪当前视频播放的时间戳位置，取值大致等于 当前播放视频帧的pts + 修正值delta。在毫秒级别上，若取得视频时钟(即当前帧pts)的时刻，与视频时钟被调用时刻存在延迟，那么，视频时钟需要在被调用时进行修正。其修正值delta为 delta=[取得视频时钟的时刻值video_current_pts_time] 到 [调用get
常用 FFmpeg 命令
KYuruyan的博客
04-30 3469
字幕 视频添加字幕 ffmpeg -i video.mp4 -i subtitle.ass -c:v copy -c:a copy -c:s ass -y output.mkv 或：（烧录为 mp4，速度慢） ffmpeg -i video.mp4 -vf ass=subtitle.ass -y output.mp4 音频 导出视频中的音频 ffmpeg -i video.mp4 -vn -y -acodec copy output.m4a 去掉视频中的音频 ffmpeg -i video.mp4 -
ffmpeg简单多线程播放器- 音视频同步（视频同步到音频）
qq_33329316的博客
03-11 4072
音视频同步-主要代码逻辑 也就是你追我敢的过程 因为音频格式sample channel rate 都是固定的 所以 某一段音频时间是可以确定的，所以一音频为基准 视频同步到音频 常规做法： 展示一帧视频帧后，得到下一帧视频帧的PTS, 和当前音频的时钟锁一个比较，如果在之前那就立即播放，如果在之后那就设置一个delay ,然后设置进定时器，当定时器超时后，刷新新的视频帧。 av_frame_get_best_effort_timestamp(pFrame)) 可以直接获得一个对应AvFrame 中获
ffmpeg最全的命令参数
zb353027的专栏
05-12 1761
http://keren.iteye.com/blog/1773536 Java代码   ffmpeg -h full   得到：  Java代码   Hyper fast Audio and Video encoder   usage: ffmpeg [options] [[infile options] -i infile]... {[o
ffmpeg播放流程和音视频同步
云上听风的博客
05-04 1698
详细的慢慢写, 先随便写点. ffmpeg播放流程 视频线程和音频线程单独解码, 然后放到同一个队列中进行时间戳同步, 然后再把解码后的数据放到视频线程和音频线程播放. 音视频同步 使用视频同步到音频的方式, 因为人类对音频更敏感, 当视频太快时就延迟减慢视频播放速度, 当视频太慢时就马上播放视频...
ffmpeg整体分析文档
02-02
"FFmpeg整体分析文档，基于ffmpeg0.63版本的移植与分析，主要涉及源代码结构和基本概念。" FFmpeg是一个开源的跨平台多媒体处理框架，广泛应用于音视频的编码、解码、转码以及流媒体处理等领域。这份文档详细分析了...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值