一、基本概念
I frame(帧内编码帧):一般来说,I 帧是每个 GOP(MPEG 所使用的一种视频压缩技术)的第一个帧,经过适度地压缩,做为随机访问的参考点,自身可以通过视频解压算法解压成一张单独的完整的图片。I 帧可以看成是一个图像经过压缩后的产物。
P frame(前向预测编码帧):需要参考其前面的一个 I frame 或者 B frame 来生成一张完整的图片。
B frame(双向预测内插编码帧):B 帧要参考其前一个 I 帧或者 P 帧及其后面的一个 P 帧来生成一张完整图片。
DTS:即 Decode Time Stamp,主要是标识读入内存中的 bit 流在什么时候开始送入解码器中进行解码。
PTS:即 Presentation Time Stamp,主要用于度量解码后的视频帧什么时候被显示出来。
二、DTS 和 PTS
为什么需要 DTS 和 PTS?如果仅仅通过帧数乘以帧率的方式来同步,是很难达到同步效果的。对于一部电影,帧一般是这样来显示的:I B B P。但是我们知道 B 帧的解压缩不仅需要参考前面的 I 帧或者 P 帧,还需要参考后面的 P 帧,所以我们真正需要让帧显示的顺序为:I P B B,此时就需要用到 DTS 和 PTS。此时 DTS 为 1 2 3 4, 我们将PTS 设置为 1 4 2 3,从而我们的视频流显示顺序为 I P B B。
从上面的例子不难看出,当没有 B 帧时,DTS 和 PTS是相同的,而在B帧存在的情况下,两者才会不同。