一、time_base
1、AVStream(libavformat/avformat.h)
/**
* This is the fundamental unit of time (in seconds) in terms
* of which frame timestamps are represented.
*
* decoding: set by libavformat
* encoding: May be set by the caller before avformat_write_header() to
* provide a hint to the muxer about the desired timebase. In
* avformat_write_header(), the muxer will overwrite this field
* with the timebase that will actually be used for the timestamps
* written into the file (which may or may not be related to the
* user - provided one, depending on the format).
*/
AVRational time_base;
/**
* Decoding: pts of the first frame of the stream in presentation order, in stream time base.
* Only set this if you are absolutely 100 % sure that the value you set
* it to really is the pts of the first frame.
* This may be undefined (AV_NOPTS_VALUE).
* @note The ASF header does NOT contain a correct start_time the ASF
* demuxer must NOT set this.
*/
int64_t start_time;
/**
* Decoding: duration of the stream, in stream time base.
* If a source file does not specify a duration, but does specify
* a bitrate, this value will be estimated from bitrate and file size.
*/
int64_t duration;
从上面的信息可以看到,AVStream->time_base单位为秒。
那AVStream->time_base具体的值是多少呢?下面以mpegts_demuxer为例:
uint32_t stream_type, uint32_t prog_reg_desc)
{
avpriv_set_pts_info(st, 33 , 1 , 90000 );
void avpriv_set_pts_info(AVStream * s, int pts_wrap_bits,
unsigned int pts_num, unsigned int pts_den)
{
AVRational new_tb;
if (av_reduce( & new_tb.num, & new_tb.den, pts_num, pts_den, INT_MAX)) {
if (new_tb.num ! = pts_num)
av_log( NULL , AV_LOG_DEBUG,
" st:%d removing common factor %d from timebase\n " ,
s -> index, pts_num / new_tb.num);
} else
av_log( NULL , AV_LOG_WARNING,
" st:%d has too large timebase, reducing\n " , s -> index);
if (new_tb.num <= 0 || new_tb.den <= 0 ) {
av_log( NULL , AV_LOG_ERROR,
" Ignoring attempt to set invalid timebase %d/%d for st:%d\n " ,
new_tb.num, new_tb.den,
s -> index);
return;
}
s -> time_base = new_tb;
av_codec_set_pkt_timebase(s -> codec, new_tb);
s -> pts_wrap_bits = pts_wrap_bits;
}
通过avpriv_set_pts_info(st, 33, 1, 90000)函数,设置AVStream->time_base为1/90000。为什么是90000?因为mpeg的pts、dts都是以90kHz来采样的,所以采样间隔为1/90000秒。
2、AVCodecContext
/**
* This is the fundamental unit of time (in seconds) in terms
* of which frame timestamps are represented. For fixed - fps content,
* timebase should be 1 / framerate and timestamp increments should be
* identically 1 .
* - encoding: MUST be set by user.
* - decoding: Set by libavcodec.
*/
AVRational time_base;
从上面的信息可以看到,AVCodecContext->time_base单位同样为秒,不过精度没有AVStream->time_base高,大小为1/framerate。
下面以ffmpeg转码工具为例:
{
if (enc_ctx -> codec_type == AVMEDIA_TYPE_VIDEO) {
if (ost -> filter && !ost -> frame_rate.num)
ost -> frame_rate = av_buffersink_get_frame_rate(ost -> filter -> filter );
if (ist && !ost -> frame_rate.num)
ost -> frame_rate = ist -> framerate;
if (ist && !ost -> frame_rate.num)
ost -> frame_rate = ist -> st -> r_frame_rate;
if (ist && !ost -> frame_rate.num) {
ost -> frame_rate = (AVRational){ 25 , 1 };
av_log( NULL , AV_LOG_WARNING,
" No information "
" about the input framerate is available. Falling "
" back to a default value of 25fps for output stream #%d:%d. Use the -r option "
" if you want a different framerate.\n " ,
ost -> file_index, ost -> index);
}
// ost -> frame_rate = ist -> st -> avg_frame_rate.num ? ist -> st -> avg_frame_rate : (AVRational){ 25 , 1 };
if (ost -> enc && ost -> enc -> supported_framerates && !ost -> force_fps) {
int idx = av_find_nearest_q_idx(ost -> frame_rate, ost -> enc -> supported_framerates);
ost -> frame_rate = ost -> enc -> supported_framerates[idx];
}
if (enc_ctx -> codec_id == AV_CODEC_ID_MPEG4) {
av_reduce( & ost -> frame_rate.num, & ost -> frame_rate.den,
ost -> frame_rate.num, ost -> frame_rate.den, 65535 );
}
}
switch (enc_ctx -> codec_type) {
case AVMEDIA_TYPE_VIDEO:
enc_ctx -> time_base = av_inv_q(ost -> frame_rate);
if (ost -> filter && !(enc_ctx -> time_base.num && enc_ctx -> time_base.den))
enc_ctx -> time_base = ost -> filter -> filter -> inputs[ 0 ] -> time_base;
if ( av_q2d(enc_ctx -> time_base) < 0.001 && video_sync_method ! = VSYNC_PASSTHROUGH
&& (video_sync_method == VSYNC_CFR || video_sync_method == VSYNC_VSCFR || (video_sync_method == VSYNC_AUTO && !(oc -> oformat -> flags & AVFMT_VARIABLE_FPS)))){
av_log(oc, AV_LOG_WARNING, " Frame rate very high for a muxer not efficiently supporting it.\n "
" Please consider specifying a lower framerate, a different muxer or -vsync 2\n " );
}
首先获取ost->frame_rate,然后计算enc_ctx->time_base = 1/ost->frame_rate。
总结:
AVStream->time_base比AVCodecContext->time_base精度要高(数值要小),比如AVStream->time_base为1/90000,而AVCodecContext->time_base为1/30(假设frame_rate为30);同样的pts和dts,以AVStream->time_base为单位,数值要比以AVCodecContext->time_base为单位要大。
二、pts、dts
那各个结构下,pts和dts使用哪个time_base来表示呢?
1、AVPacket
/**
* Presentation timestamp in AVStream -> time_base units; the time at which
* the decompressed packet will be presented to the user.
* Can be AV_NOPTS_VALUE if it is not stored in the file.
* pts MUST be larger or equal to dts as presentation cannot happen before
* decompression, unless one wants to view hex dumps. Some formats misuse
* the terms dts and pts / cts to mean something different. Such timestamps
* must be converted to true pts / dts before they are stored in AVPacket.
*/
int64_t pts;
/**
* Decompression timestamp in AVStream -> time_base units; the time at which
* the packet is decompressed.
* Can be AV_NOPTS_VALUE if it is not stored in the file.
*/
int64_t dts;
从上面可以看到,AVPacket下的pts和dts以AVStream->time_base为单位(数值比较大)。这也很容易理解,根据mpeg的协议,压缩后或解压前的数据,pts和dts是90kHz时钟的采样值,时间间隔就是AVStream->time_base。
2、AVFrame
/**
* Presentation timestamp in time_base units ( time when frame should be shown to user).
*/
int64_t pts;
/**
* PTS copied from the AVPacket that was decoded to produce this frame.
*/
int64_t pkt_pts;
/**
* DTS copied from the AVPacket that triggered returning this frame. ( if frame threading isn ' t used)
* This is also the Presentation time of this AVFrame calculated from
* only AVPacket.dts values without pts values.
*/
int64_t pkt_dts;
注意:
AVFrame里面的pkt_pts和pkt_dts是拷贝自AVPacket,同样以AVStream->time_base为单位;而pts是为输出(显示)准备的,以AVCodecContex->time_base为单位)。//FIXME
3、InputStream
int file_index;
AVStream * st;
AVCodecContext * dec_ctx;
int64_t start; /* time when read started */
/* predicted dts of the next packet read for this stream or (when there are
* several frames in a packet) of the next frame in current packet (in AV_TIME_BASE units) */
int64_t next_dts;
int64_t dts; ///< dts of the last packet read for this stream (in AV_TIME_BASE units)
int64_t next_pts; ///< synthetic pts for the next decode frame (in AV_TIME_BASE units)
int64_t pts; ///< current pts of the decoded frame (in AV_TIME_BASE units)
从上面可以看到,InputStream下的pts和dts以AV_TIME_BASE为单位(微秒),至于为什么要转化为微妙,可能是为了避免使用浮点数。
4、OutputStream
int file_index; /* file index */
int index; /* stream index in the output file */
int source_index; /* InputStream index */
AVStream * st; /* stream in the output file */
int encoding_needed; /* true if encoding needed for this stream */
int frame_number;
/* input pts and corresponding output pts
for A / V sync */
struct InputStream * sync_ist; /* input stream to sync against */
int64_t sync_opts; /* output frame counter, could be changed to some true timestamp */ // FIXME look at frame_number
/* pts of the first frame encoded for this stream, used for limiting
* recording time */
int64_t first_pts;
/* dts of the last packet sent to the muxer */
int64_t last_mux_dts;
AVBitStreamFilterContext * bitstream_filters;
AVCodecContext * enc_ctx;
AVCodec * enc;
int64_t max_frames;
AVFrame * filtered_frame;
OutputStream涉及音视频同步,结构和InputStream不同,暂时只作记录,不分析。
三、各个time_base之间转换
ffmpeg提供av_rescale_q函数用于time_base之间转换,av_rescale_q(a,b,c)作用相当于执行a*b/c,通过设置b,c的值,可以很方便的实现time_base之间转换。
例如:
1、InputStream(AV_TIME_BASE)到AVPacket(AVStream->time_base)
{
pkt -> dts = av_rescale_q(ist -> dts, AV_TIME_BASE_Q, ist -> st -> time_base);
2、AVPacket(AVStream->time_base)到InputStream(AV_TIME_BASE)
{
if (pkt -> dts ! = AV_NOPTS_VALUE) {
ist -> next_dts = ist -> dts = av_rescale_q(pkt -> dts, ist -> st -> time_base, AV_TIME_BASE_Q);
四、后记:
AVFrame->pts和AVPacket->pts、AVPacket->dts的值,在解码/编码后,会经历短暂的time_base不匹配的情况:
1、解码后
{
decoded_frame = ist -> decoded_frame;
pkt -> dts = av_rescale_q(ist -> dts, AV_TIME_BASE_Q, ist -> st -> time_base);
update_benchmark( NULL );
ret = avcodec_decode_video2(ist -> dec_ctx,
decoded_frame, got_output, pkt);
best_effort_timestamp = av_frame_get_best_effort_timestamp(decoded_frame);
if (best_effort_timestamp ! = AV_NOPTS_VALUE)
ist -> next_pts = ist -> pts = av_rescale_q(decoded_frame -> pts = best_effort_timestamp, ist -> st -> time_base, AV_TIME_BASE_Q);
解码后,decoded_frame->pts的值使用AVStream->time_base为单位,后在AVFilter里面转换成以AVCodecContext->time_base为单位。 //FIXME
2、编码后
OutputStream * ost,
AVFrame * in_picture)
{
ret = avcodec_encode_video2(enc, & pkt, in_picture, & got_packet);
if (got_packet) {
if (debug_ts) {
av_log( NULL , AV_LOG_INFO, " encoder -> type:video "
" pkt_pts:%s pkt_pts_time:%s pkt_dts:%s pkt_dts_time:%s\n " ,
av_ts2str(pkt.pts), av_ts2timestr(pkt.pts, & enc -> time_base),
av_ts2str(pkt.dts), av_ts2timestr(pkt.dts, & enc -> time_base));
}
if (pkt.pts == AV_NOPTS_VALUE && !(enc -> codec -> capabilities & CODEC_CAP_DELAY))
pkt.pts = ost -> sync_opts;
av_packet_rescale_ts( & pkt, enc -> time_base, ost -> st -> time_base);
if (debug_ts) {
av_log( NULL , AV_LOG_INFO, " encoder -> type:video "
" pkt_pts:%s pkt_pts_time:%s pkt_dts:%s pkt_dts_time:%s\n " ,
av_ts2str(pkt.pts), av_ts2timestr(pkt.pts, & ost -> st -> time_base),
av_ts2str(pkt.dts), av_ts2timestr(pkt.dts, & ost -> st -> time_base));
}
frame_size = pkt.size;
write_frame(s, & pkt, ost);
/* if two pass, output log */
if (ost -> logfile && enc -> stats_out) {
fprintf(ost -> logfile, " %s " , enc -> stats_out);
}
}
编码后,pkt.pts、pkt.dts使用AVCodecContext->time_base为单位,后通过调用"av_packet_rescale_ts"转换为AVStream->time_base为单位。
转载地址:http://www.cnitblog.com/luofuchong/archive/2014/11/28/89869.html
问题是这样的 用一个 VLC(流媒体客户端) 去请求流媒体服务器上的数据, 但是获得的数据播放速度明显快于1倍速,大概是 timestamp 不对,不知道是服务器的错误,还是客户端解码时出错, 总感觉服务器那边有问题, 由于服务器端是客户端提供的,客户说是我们的问题,我还不知道如何证明是谁的错。
A:RFC3984 规定采用 90000 Hz 的时钟,因此如果编码帧频是 30,那么时间戳间隔就该是 90000 / 30 = 3000,根据抓包来看,似乎时间戳间隔的确是 3000。
时间戳的间隔不固定,比如有的时间戳间隔是 2990 有的是 3002,会导致解析出来的视频快播的效果么
Q:各位大侠好:
我现在正在开发视频实时流播放,简单的过程如下:
采集视频流 -> 视频流转换为Sorenson H.263编码格式
现在我的时间戳颗粒是这样生成的:
第一帧的时间戳为0;
第二帧的时间戳的算法为:第一个字符编码的当前时间 - 上一帧第一个字符编码的当前时间
根据这个时间颗粒的算法,我在flash客户端播放就会产生延时。
请问各位大侠有什么好的建议或是文档之类的,以前firstime管管建议我看RFC4629文档,但是效果不太明显?
谢谢!
A;时间戳顺序累加就行了,每次加1
Q:最近做了一个捕捉摄像头并保存FLV的小东西,发现转换完毕后的FLV文件,用播放器播放的时候,速度特别快,大概是正常速度的4倍。请问这是怎么回事?网上搜了一下,说是时间戳的问题,可是PTS我跟了,AVPacket的PTS是每帧增长40,time_base为: 25/s.。DTS是个无效值。PTS的计算是根据ffmpeg的例子写的。
pkt.pts= av_rescale_q(oAcc->coded_frame->pts, oAcc->time_base, audio_st->time_base);
1. dts到底需不需要自己计算?
2. 还有播放速度过快的可能原因?
3. 还有PTS和DTS的具体含义?
int64_t pts;
int64_t dts;
上面的意思是不是说,播放器根据PTS进行播放。然后DTS是在编码的时候自己设置?
刚用ffmpeg,好些东西不懂,还请大侠多多指教------刚才又试了一下,把time_base降为10帧每秒。播放速度和正常速度接近。但是不知道FLV文件的帧率该设置多少合适。有没有一个权威的说法。
A:我也做摄像头捕捉,跟你出现一样的问题,我自己分析的话,应该是捕捉摄像头的图像的速度只有10帧每秒,但是保存成视频25帧每秒的话播放看起来就非常快,但是我摄像头捕捉设定的是25帧每秒,难道是速度达不到?
反正我还没解决,LZ解决了的话告诉下,
谢谢。暂时认为是摄像头捕捉速率问题。换了一个高清无驱摄像头就好了
Q:在每个音视频数据包中都含有PTS和DTS,一个数据包中应该含有多个数据帧以及音频数据,那么这里的PTS和DTS它是如何来标识数据帧的?PTS和DTS的单位是什么?视频的最小单位是帧,可通过PTS来指定它何时播放,那音频的最小单位是什么?这里的PTS对音频而言它标识的是什么?是这个时间点采样点吗?
在网上找了很久关于音视频编解码的资料,都没有合适的
A:
audio_timebase = av_q2d(fmtctx->streams[audio_index]->time_base);
video_timebase = av_q2d(fmtctx->streams[video_index]->time_base);
last_video_pts = pts * video_timebase;
last_audio_pts = pts * audio_timebase;
timebase就是单位
以audio为基准同步video。只要设置好了 ao 的参数,如sample rate, channels, sample size等, audio驱动就能以正确的速度播放,所以只要程序里write不出大问题的话,这种同步是非常有效的。
在video out里如下做:
pre_time = av_gettime();
gl_vo->vo_display(pic);
after_time = av_gettime();
rest_time = 1000*1000/fps - (after_time - pre_time);
av_diff = last_audio_pts - last_video_pts;
if ( av_diff > 0.2 )
{
}
else if ( av_diff < -0.2)
{
}
if ( rest_time > 0 )
Q:谢谢kf701的回复,看后明白了不少
这种同步是音频抽样一次就与一帧图像去同步的吗?
A:上面的代码是每display一个picture,就与audio的PTS比较一下,
如果没有audio,只有video,那么video就会以fps显示,
Q:如何利用AVPacket包里的pts,dts实现音视频同步?声频播放是只管自己播放,视频有一个初始化播放帧率,如何根据AVPacket里的pts,dts还实现两者的同步?
现在我的视频播放一直按原始播放帧率播放,声音有点卡!哪位知道,尽快告知小弟!
A:DTS:decoding time stamp
PTS:presentation time stamp
Generally the PTS and DTS will only differ when the stream we are playing has B frames in it.
Q:关于b帧和时间戳的问题
我从mpeg2视频中用av_read_frame()读取视频帧并解码,顺序是IPBBPBB...
它们的pts顺序是1423756...现在我要把这个视频再用mpeg2编码,最大b帧数还是2.那么我在编码时是否要将视频数据调整为按显示时间先后的顺序,再交给avcodec_encode_video()编码?即把第2帧放在3、4帧之后,第7帧放在5、6帧之后?
A:你不能这么做,编码器会给你这么做的。如果你有B帧,那么所有的B帧都会被放在缓冲区里直到下一个I/P帧到来
例如:你的输入序列是IBBPBBPBBI
那么输出的序列是
输入I,编码I,输出I
输入B
输入B
输入P,编码P,输出P
编码B,输出B
编码B,输出B
输入P,编码P,输出P
。。。。。。
在解码端所有的P帧都会被放在缓冲力直到下一个I/P真的到来
如:解码I,输出I
解码P,放入缓冲P
解码B,输出B
解码B,输出B
解码P,输出上一次P帧
Q:解码出来的图片的时间戳问题 MPEG一个包中包含有时间戳, 而可能几个包才能解码出一张图象, 也可能一个包能解码出几张图, 请问包中的时间戳与解码出来的图象如何对应上?
A:在ffmpeg中通过parser部件把从 avformat部件取下来的原始包重新“合成”为有仅包含一个完整帧的包。从MPEG2部份的代码中看出,如果“几个包才能解码出一张图象”的话,会取第一个包的PTS和DTS,如果“也可能一个包能解码出几张图”,则会跟据这个包的PTS和DTS通过帧频推算出其它帧的DTS。
Q: ffmpeg的avcodec_decode_video 函数解码时间戳问题?在
A:
Q:我贴下
取得
从
ffmpeg中的时间单位
AV_TIME_BASE
ffmpeg中的内部计时单位(时间基),ffmepg中的所有时间都是于它为一个单位,比如AVStream中的duration即以为着这个流的长度为duration个AV_TIME_BASE。AV_TIME_BASE定义为:
#define AV_TIME_BASE 1000000
AV_TIME_BASE_Q
ffmpeg内部时间基的分数表示,实际上它是AV_TIME_BASE的倒数。从它的定义能很清楚的看到这点:
#define AV_TIME_BASE_Q (AVRational){1, AV_TIME_BASE}
AVRatioal的定义如下:
typedef struct AVRational{ int num; //numerator int den; //denominator } AVRational;
ffmpeg提供了一个把AVRatioal结构转换成double的函数:
static inline double av_q2d(AVRational a){ /** * Convert rational to double. * @param a rational to convert **/ return a.num / (double) a.den; }
现在可以根据pts来计算一桢在整个视频中的时间位置:
timestamp(秒) = pts * av_q2d(st->time_base)
计算视频长度的方法:
time(秒) = st->duration * av_q2d(st->time_base)
这里的st是一个AVStream对象指针。
时间基转换公式
- timestamp(ffmpeg内部时间戳) = AV_TIME_BASE * time(秒)
- time(秒) = AV_TIME_BASE_Q * timestamp(ffmpeg内部时间戳)
所以当需要把视频跳转到N秒的时候可以使用下面的方法:
int64_t timestamp = N * AV_TIME_BASE; 2 av_seek_frame(fmtctx, index_of_video, timestamp, AVSEEK_FLAG_BACKWARD);
ffmpeg同样为我们提供了不同时间基之间的转换函数:
int64_t av_rescale_q(int64_t a, AVRational bq, AVRational cq)
这个函数的作用是计算a * bq / cq,来把时间戳从一个时基调整到另外一个时基。在进行时基转换的时候,我们应该首选这个函数,因为它可以避免溢出的情况发生。