视频流中的DTSPTS到底是什么?

DTS (解码时间戳)和 PTS (显示时间戳)分别是×××进行解码和显示帧时相对于 SCR (系统参考)的时间戳。 SCR 可以理解为×××应该开始从磁盘读取数据时的时间。
mpeg 文件中的每一个包都有一个 SCR 时间戳并且这个时间戳就是读取这个数据包时的系统时间。通常情况下,×××会在它开始读取 mpeg 流时启动系统时钟(系统时钟的初始值是第一个数据包的 SCR 值,通常为 0 但也可以不从 0 开始)。
DTS 时间戳决定了×××在 SCR 时间等于 DTS 时间时进行解码, PTS 时间戳也是类似的。通常, DTS/PTS 时间戳指示的是晚于音视频包中的 SCR 的一个时 间。例如,如果一个视频数据包的 SCR 100ms (意味着此包是播放 100ms 以后从磁盘中读取的),那么 DTS/PTS 值就差不多是 200 /280ms ,表明当 SCR 200ms 时这个视频数据应该被解码并在 80ms 以后被显示出来(视频数据在一个 buffer 中一直保存到开始解码)下 溢通常发生在设置的视频数据流相关 mux 率太高。
如果 mux 率是 1000000bits/sec (意味着×××要以 1000000bits/sec 的速率 读取文件),可是视频速率是 2000000bits/sec (意味着需要以 2000000bits/sec 的速率显示视频数据),从磁盘中读取视频数据时 速度不够快以至于 1 秒钟内不能够读取足够的视频数据。这种情况下 DTS/PTS 时间戳就会指示视频在从硬盘中读出来之前进行解码或显示( DTS/PTS 时间戳就要比包含它们的数据包中的 SCR 时间要早了)。
如今依靠×××,这基本已经不是什么问题了(尽管 MPEG 文件因为应该没有下溢而并不完全符合 MPEG 标准)。一些×××(很多著名的基于 PC 的播放器)尽可能快的读取文件以便显示视频,可以的话直接忽略 SCR
注意在你提供的列表中,平均的视频流速率为~ 3Mbps 3000000bits/sec )但是它的峰值达到了 14Mbps (相当大, DVD 限制在 9.8Mbps 内)。这意味着 mux 率需要调整足够大以处理 14Mbps 的部分, bbMPEG 计算出来的 mux 率有时候太低而导致下溢。
你计划让视频流速率这么高么?这已经超过了 DVD 的说明了,而且很可能在大多数独立播放其中都不能播放。如果你不是这么计划,我会从 1 增加 mquant 的值并且在视频设置中将最大码流设置为 9Mbps 以保持一个小一点的码流。
如果你确实想让视频码率那么高,你需要增大 mux 率。从提供的列表可以得出 bbMPEG 使用 14706800bits/sec 或者 1838350bytes /sec mux 率(总数据速率为: 1838350bytes/sec 14706800bits/sec )行)。你在强制 mux 率字段设置的值应该是以 bytes/sec 为单位并被 50 整除。所以我会从 36767 1838350/50 )开始,一直增加直到不会再出现下溢错误为止。

音视频同步原理[ffmpeg]

ffmpeg 对视频文件进行解码的大致流程:
1. 注册所有容器格式和 CODEC: av_register_all()
2. 打开文件 : av_open_input_file()
3. 从文件中提取流信息 : av_find_stream_info()
4. 穷举所有的流,查找其中种类为 CODEC_TYPE_VIDEO
5. 查找对应的××× : avcodec_find_decoder()
6. 打开编××× : avcodec_open()
7. 为解码帧分配内存 : avcodec_alloc_frame()
8. 不停地从码流中提取中帧数据 : av_read_frame()
9. 判断帧的类型,对于视频帧调用 : avcodec_decode_video()
10. 解码完后,释放××× : avcodec_close()
11. 关闭输入文件 :av_close_input_file()
output_example.c AV 同步的代码如下 ( 我的代码有些修改 ) ,这个实现相当简单,不过挺说明问题。

音视频同步-时间戳

媒体内容在播放时,最令人头痛的就是音视频不同步。从技术上来说,解决音视频同步问题的最佳方案就是时间戳:首先选择一个参考时钟(要求参考时钟上的时间是线性递增的);生成数据流时依据参考时钟上的时间给每个数据块都打上时间戳(一般包括开始时间和结束时间);在播放时,读取数据块上的时间戳,同时参考当前参考时钟上的时间来安排播放(如果数据块的开始时间大于当前参考时钟上的时间,则不急于播放该数据块,直到参考时钟达到数据块的开始时间;如果数据块的开始时间小于当前参考时钟上的时间,则 尽快 播放这块数据或者索性将这块数据 丢弃 ,以使播放进度追上参考时钟)。
可见,避免音视频不同步现象有两个关键 —— 一是在生成数据流时要打上正确的时间戳。如果数据块上打的时间戳本身就有问题,那么播放时再怎么调整也于事无补。假如,视频流内容是从 0s 开始的,假设 10s 时有人开始说话,要求配上音频流,那么音频流的起始时间应该是 10s ,如果时间戳从 0s 或其它时间开始打,则这个混合的音视频流在时间同步上本身就出了问题。打时间戳时,视频流和音频流都是参考参考时钟的时间,而数据流之间不会发生参考关系;也就是说,视频流和音频流是通过一个中立的第三方(也就是参考时钟)来实现同步的。第二个关键的地方,就是在播放时基于时间戳对数据流的控制,也就是对数据块早到或晚到采取不同的处理方法。图 2.8 中,参考时钟时间在 0-10s 内播放视频流内容过程中,即使收到了音频流数据块也不能立即播放它,而必须等到参考时钟的时间达到 10s 之后才可以,否则就会引起音视频不同步问题。
基于时间戳的播放过程中,仅仅对早到的或晚到的数据块进行等待或快速处理,有时候是不够的。如果想要更加主动并且有效地调节播放性能,需要引入一个反馈机制,也就是要将当前数据流速度太快或太慢的状态反馈给 ,让源去放慢或加快数据流的速度。熟悉 DirectShow 的读者一定知道, DirectShow 中的质量控制( Quality Control )就是这么一个反馈机制。 DirectShow 对于音视频同步的解决方案是相当出色的。但 WMF SDK 在播放时只负责将 ASF 数据流读出并解码,而并不负责音视频内容的最终呈现,所以它也缺少这样的一个反馈机制。
音视频同步通讯 SDK 源码包分享:
Android http://down.51cto.com/data/711001
Windows http://down.51cto.com/data/715497
Linux http://download.csdn.net/detail/weixiaowenrou/5169796
IOS http://down.51cto.com/data/715486
WEB http://down.51cto.com/data/710983