音视频专栏-DTS&PTS

一，网上很多人都在讲dts和pts，但是么有几个人把这个问题讲清楚，讲明白的，甚至很多做了很多年的音视频开发的人都搞不明白，今天我把原理图整理下，和大家一起学习，如有问题，欢迎批评指正

那么对这两个概念先说明下

• DTS（Decoding Time Stamp）：即解码时间戳，这个时间戳的意义在于告诉播放器该在什么时候解码这一帧的数据。
• PTS（Presentation Time Stamp）：即显示时间戳，这个时间戳用来告诉播放器该在什么时候显示这一帧的数据
• GOP：(Group of Picture)MPEG 所使用的一种视频压缩技术

虽然 DTS、PTS 是用于指导播放端的行为，但它们是在编码的时候由编码器生成的。

在视频采集的时候是录制一帧就编码一帧发送一帧的，在编码的时候会生成 PTS，这里需要特别注意的是 frame（帧）的编码方式，在通常的场景中，编解码器编码一个 I 帧，然后向前跳过几个帧，用编码 I 帧作为基准帧对一个未来 P 帧进行编码，然后跳回到 I 帧之后的下一个帧。编码的 I 帧和 P 帧之间的帧被编码为 B 帧。之后，编码器会再次跳过几个帧，使用第一个 P 帧作为基准帧编码另外一个 P 帧，然后再次跳回，用 B 帧填充显示序列中的空隙。这个过程不断继续，每 12 到 15 个 P 帧和 B 帧内插入一个新的 I 帧。P 帧由前一个 I 帧或 P 帧图像来预测，而 B 帧由前后的两个 P 帧或一个 I 帧和一个 P 帧来预测，因而编解码和帧的显示顺序有所不同，如下所示：

假设这里视频采集到的帧是这样子的

I B B P B B P
1
那么它的 PTS 对应的就是

PTS：1 2 3 4 5 6 7
1
编码顺序是：

1 4 2 3 7 5 6
1
推流顺序也是按照编码顺序去推的，即

I P B B P B B
1
那么接收断收到的视频流也就是

I P B B P B B
1
这时候去解码，也是按照收到的视频流一帧一帧去解的了，接收一帧解码一帧，因为在编码的时候已经按照 I、B、P 的依赖关系编好了，接收到数据直接解码就好了。

那么解码的顺序就是：

     I P B B P B B
DTS：1 2 3 4 5 6 7
PTS：1 4 2 3 7 5 6
 
可以看到解码出来对应的 PTS 不是顺序的，为了正确显示视频流，这时候我们就必须按照 PTS 调整解码后的 frame(帧)，即

     I B B P B B P
DTS：1 3 4 2 6 7 5
PTS：1 2 3 4 5 6 7

其实就是把pts按照顺序递增的方式排列下，

总结而言，在音视频中，PTS通常是按照递增的顺序排列的，以保持正确的时间顺序和播放同步。然而，在特殊情况下，PTS可能会出现不连续或调整的情况，但这些操作通常会保证音视频的同步和正确的显示