01-ffmpeg同步(音频基准)

最新推荐文章于 2024-07-17 12:59:16 发布

BabyMelvin

最新推荐文章于 2024-07-17 12:59:16 发布

阅读量1.4k

点赞数 1

分类专栏： ffmpeg

ffmpeg 专栏收录该内容

5 篇文章 3 订阅

订阅专栏

本文主要描述了如何以音频的播放时长为基准，将视频同步到音频上以实现视音频的同步播放的。主要有以下几个方面的内容

视音频同步的简单介绍
计算视频中Frame的显示时间
获取Audio clock（audio的播放时长）
将视频同步到音频上，实现视音频同步播放

1.视音频同步简单介绍

一般来说，视频同步指的是视频和音频同步,也就是说播放的声音要和当前显示的画面保持一致。

在视频流和音频流中已包含了其以怎样的速度播放的相关数据，视频的帧率（Frame Rate）指示视频一秒显示的帧数（图像数）；音频的采样率（Sample Rate）表示音频一秒播放的样本（Sample）的个数。可以使用以上数据通过简单的计算得到其在某一Frame（Sample）的播放时间，以这样的速度音频和视频各自播放互不影响，在理想条件下，其应该是同步的，不会出现偏差。但，理想条件是什么大家都懂得。如果用上面那种简单的计算方式，慢慢的就会出现音视频不同步的情况。要不是视频播放快了，要么是音频播放快了，很难准确的同步。这就需要一种随着时间会线性增长的量，视频和音频的播放速度都以该量为标准，播放快了就减慢播放速度；播放快了就加快播放的速度。所以呢，视频和音频的同步实际上是一个动态的过程，同步是暂时的，不同步则是常态。以选择的播放速度量为标准，快的等待慢的，慢的则加快速度，是一个你等我赶的过程。

播放速度标准量的的选择一般来说有以下三种：

将视频同步到音频上，就是以音频的播放速度为基准来同步视频。视频比音频播放慢了，加快其播放速度；快了，则延迟播放。
将音频同步到视频上，就是以视频的播放速度为基准来同步音频。
将视频和音频同步外部的时钟上，选择一个外部时钟为基准，视频和音频的播放速度都以该时钟为标准。

2.计算视频Frame的显示时间

2.1时间

在计算某一帧的显示时间之前，现来弄清楚FFmpeg中的时间单位：时间基（TIME BASE)。在FFmpeg中存在这多个不同的时间基，对应着视频处理的不同的阶段（分布于不同的结构体中）。FFMPEG 关于对时间戳转换的理解,首先介绍转换函数:av_rescale_q_rnd(int64_t a, int64_t b, int64_t c, enum AVRounding rnd)

此函数主要用于对于不同时间戳的转换。具体来说是将以 “时钟基c” 表示的数值a 转换成以 “时钟基b” 来表示。

在本文中使用的是AVStream的时间基，来指示Frame显示时的时间戳（timestamp）。

/**
    * This is the fundamental unit of time (in seconds) in terms
    * of which frame timestamps are represented.
    *
    */
AVRational time_base;

AVRational是一个分数，其声明如下：

/**
 * rational number numerator/denominator
 */
typedef struct AVRational{
    int num; ///< numerator   分子
    int den; ///< denominator 分母
} AVRational;

实际上time_base时间刻度的意思，是在秒中。
如：(1,25)，那么时间刻度就是1/25（s）?.如果timestamp=5,那么时间5*(1/25)=1/5s
（1,9000），那么时间刻度就是1/90000
那么，在刻度为1/25的体系下的timestamp=5，转换成在刻度为1/90000体系下的时间time为(5*1/25)/(1/90000)= 3600*5=18000
ffmpeg中做pts计算时，存在大量这种转换
* AVCodecContext：编解码上下文。
* AVStream:文件或其它容器中的某一条流。
PTS为一个uint64_t的整型，其单位就是time_base。表示视频长度的duration也是一个uint64_t，那么使用如下方法就可以计算出一个视频流的时间长度：

time(seconds) = st->duration(timestamp) * av_q2d(st->time_base)

st为一个AVStream的指针，av_q2d将一个AVRational转换为双精度浮点数。同样的方法也可以得到视频中某帧的显示时间

time(seconds) = pts * av_q2d(st->time_base)

也就是说，得到了Frame的PTS后，就可以得到该frame显示的时间戳。

在某些场景下设计到PTS的计算时，就涉及到两个Time的转换，以及到底取哪里的time_base进行转换：

场景1：编码器产生的帧，直接存入某个容器的AVStream中，那么此时packet的Time要从AVCodecContext的time转换成目标AVStream的time
场景2：从一种容器中demux出来的源AVStream的frame，存入另一个容器中某个目的AVStream。此时的时间刻度应该从源AVStream的time，转换成目的AVStream timebase下的时间。

其实，问题的关键还是要理解，不同的场景下取到的数据帧的time是相对哪个时间体系的。

demux出来的帧的time：是相对于源AVStream的timebase编码器出来的帧的time：是相对于源AVCodecContext的timebase
mux存入文件等容器的time：是相对于目的AVStream的timebase
这里的time指pts。

2.2得到Frame的PTS

通过上面的描述知道，如果有了Frame的PTS就计算出帧的显示的时间。下面的代码展示了在从packet中解码出frame后，如何得到frame的PTS

ret = avcodec_receive_frame(video->video_ctx, frame);
if (ret < 0 && ret != AVERROR_EOF)
    continue;
if ((pts = av_frame_get_best_effort_timestamp(frame)) == AV_NOPTS_VALUE)
    pts = 0;
pts *= av_q2d(video->stream->time_base);
pts = video->synchronize(frame, pts);
frame->opaque = &pts;//opaque不透明的，私有？

注意，这里的pts是double型，因为将其乘以了time_base，代表了该帧在视频中的时间位置（秒为单位）。有可能存在调用av_frame_get_best_effort_timestamp得不到一个正确的PTS，这样的情况放在函数synchronize中处理。

double VideoState::synchronize(AVFrame *srcFrame, double pts)
{
    double frame_delay;

    if (pts != 0)
        video_clock = pts; // Get pts,then set video clock to it
    else
        pts = video_clock; // Don't get pts,set it to video clock

    frame_delay = av_q2d(stream->codec->time_base);
    frame_delay += srcFrame->repeat_pict * (frame_delay * 0.5);

    video_clock += frame_delay;

    return pts;
}

video_clock是视频播放到当前帧时的已播放的时间长度。在synchronize函数中，如果没有得到该帧的PTS就用当前的video_clock来近似，然后更新video_clock的值。

到这里已经知道了video中frame的显示时间了（秒为单位），下面就描述如果得到Audio的播放时间，并以此时间为基准来安排video中显示时间。

2.3获取Audio Clock

Audio Clock，也就是Audio的播放时长，可以在Audio时更新Audio Clock。在函数audio_decode_frame中解码新的packet，这是可以设置Auddio clock为该packet的PTS

if (pkt.pts != AV_NOPTS_VALUE)
{
    audio_state->audio_clock = av_q2d(audio_state->stream->time_base) * pkt.pts;
}

由于一个packet中可以包含多个帧，packet中的PTS比真正的播放的PTS可能会早很多，可以根据Sample Rate和 Sample Format来计算出该packet中的数据可以播放的时长，再次更新Audio clock。

// 每秒钟音频播放的字节数 sample_rate * channels * sample_format(一个sample占用的字节数)
audio_state->audio_clock += static_cast<double>(data_size) / (2 * audio_state->stream->codec->channels *            
        audio_state->stream->codec->sample_rate);

上面乘以2是因为sample format是16位的无符号整型，占用2个字节。
有了Audio clock后，在外面获取该值的时候却不能直接返回该值，因为audio缓冲区的可能还有未播放的数据，需要减去这部分的时间

double AudioState::get_audio_clock()
{
    int hw_buf_size = audio_buff_size - audio_buff_index;
    int bytes_per_sec = stream->codec->sample_rate * audio_ctx->channels * 2;

    double pts = audio_clock - static_cast<double>(hw_buf_size) / bytes_per_sec;


    return pts;
}

用audio缓冲区中剩余的数据除以每秒播放的音频数据得到剩余数据的播放时间，从Audio clock中减去这部分的值就是当前的audio的播放时长。

3.同步

现在有了video中Frame的显示时间，并且得到了作为基准时间的音频播放时长Audio clock，可以将视频同步到音频了。

用当前帧的PTS -上一播放帧的PTS得到一个延迟时间
用当前帧的PTS和Audio Clock进行比较，来判断视频的播放速度是快了还是慢了

根据上一步额判断结果，设置播放下一帧的延迟时间。
使用要播放的当前帧的PTS和上一帧的PTS差来估计播放下一帧的延迟时间，并根据video的播放速度来调整这个延迟时间，以实现视音频的同步播放。
具体实现：

// 将视频同步到音频上，计算下一帧的延迟时间
// 使用要播放的当前帧的PTS和上一帧的PTS差来估计播放下一帧的延迟时间，并根据video的播放速度来调整这个延迟时间
double current_pts = *(double*)video->frame->opaque;
double delay = current_pts - video->frame_last_pts;
if (delay <= 0 || delay >= 1.0)
    delay = video->frame_last_delay;

video->frame_last_delay = delay;
video->frame_last_pts = current_pts;

// 根据Audio clock来判断Video播放的快慢
double ref_clock = media->audio->get_audio_clock();

double diff = current_pts - ref_clock;// diff < 0 => video slow,diff > 0 => video quick

double threshold = (delay > SYNC_THRESHOLD) ? delay : SYNC_THRESHOLD;

// 调整播放下一帧的延迟时间，以实现同步
if (fabs(diff) < NOSYNC_THRESHOLD) // 不同步
{
    if (diff <= -threshold) // 慢了，delay设为0
        delay = 0;
    else if (diff >= threshold) // 快了，加倍delay
        delay *= 2;
}
video->frame_timer += delay;
double actual_delay = video->frame_timer - static_cast<double>(av_gettime()) / 1000000.0;
if (actual_delay <= 0.010)
    actual_delay = 0.010; 

// 设置一下帧播放的延迟
schedule_refresh(media, static_cast<int>(actual_delay * 1000 + 0.5));
frame_last_pts和frame_last_delay是上一帧的PTS以及设置的播放上一帧时的延迟时间。

首先根据当前播放帧的PTS和上一播放帧的PTS估算出一个延迟时间。
用当前帧的PTS和Audio clock相比较判断此时视频播放的速度是快还是慢了
视频播放过快则加倍延迟，过慢则将延迟设置为0
frame_timer保存着视频播放的延迟时间总和，这个值和当前时间点的差值就是播放下一帧的真正的延迟时间
schedule_refresh 设置播放下一帧的延迟时间。