音视频同步 ffmpeg 推流

音视频同步原理及实现

可参考:
https://blog.csdn.net/myvest/article/details/97416415
https://www.jianshu.com/p/3578e794f6b5
总结的非常详细。

ffmpeg 推流 音视频同步推流

  1. 采用策略
    将视频同步到音频上:以音频的推送速度为基准来同步视频。
  2. 代码实现
    ffmpeg源码中给出的实现:
// Write the stream header, if any. 
ret = avformat_write_header(oc, &opt);
if (ret < 0) {
    fprintf(stderr, "Error occurred when opening output file: %s\n",
            av_err2str(ret));
    return 1;
}

while (encode_video || encode_audio) {
    /* select the stream to encode */
    if (encode_video &&
        (!encode_audio || av_compare_ts(video_st.next_pts, video_st.enc->time_base,
                                        audio_st.next_pts, audio_st.enc->time_base) <= 0)) {
        encode_video = !write_video_frame(oc, &video_st);
    } else {
        encode_audio = !write_audio_frame(oc, &audio_st);
    }
}

我的代码实现:

        // 根据pts同步进行同步
        if (audioSendPts == -2048 && videoSendPts == -1)
        {
            audio_stream_send(outs);
        } else if (audioSendPts == 0 && videoSendPts == -1){
            video_stream_send_only();
        } else {
            // 比较时间戳,确定发送音频还是视频
//            LOGD("videoSendPts = %" PRId64", audioSendPts = %" PRId64"", videoSendPts, audioSendPts);
            if (av_compare_ts(videoSendPts + 1, pVideoCodecCtx->time_base,
                                      audioSendPts + 2048, pAudioCodecCtx->time_base) <= 0) {
                // 视频合流、封装
                video_stream_send_only();
                LOGD("av_compare_ts vido");
            } else {
                // 音频合流、封装
                audio_stream_send(outs);
                LOGD("av_compare_ts audio-------");
            }
        }

遇到的大坑

从视频源获取的帧率与我设置的不同,偶尔会出现一秒内的帧率比设置的帧率多一帧的现象,导致同步策略不起作用。一直以为是同步的策略存在问题,始终未怀疑到视频源的帧率不正常,踏了个大坑。

  • 1
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值