音频传输之Jitter Buffer设计与实现

在语音通信中Jitter Buffer（下面简称JB）是接收侧一个非常重要的模块，它是决定音质的重要因素之一。一方面它会把收到的乱序的语音包排好序放在buffer里正确的位置上，另一方面它把接收到的语音包放在buffer中缓冲一些时间使播放的更平滑从而获得更好的语音质量。下图是JB在接收侧软件框图中的位置。

 

从上图可以看出，从网络上收到的语音包会放在JB里（这个操作叫做PUT），在需要的时候便从JB里取出来（这个操作叫做GET）解码直到播放出来。JB有两种模式：adaptive（自适应的）和fixed（固定的）。Adaptive是指buffer的大小可以根据网络环境的状况自适应的调整；fixed是指buffer的大小固定不变。自适应的模式实现难度大，要求高，fixed相对简单，现在基本上都用adaptive的模式。JB在生命周期里也有两种状态：prefetching（预存取）和processing（处理中），只有在processing时才能从JB中取到语音帧。初始化时把状态置成prefetching，当在JB中的语音包个数达到指定的值时便把状态切到processing。如果从JB里取不到语音帧了，它将又回到prefetching。等buffer里语音包个数达到指定值时又重新回到processing状态。

 

首先看PUT操作。RTP包有包头和负载（payload），为了便于处理，将包头和payload在buffer中分开保存，保存包头中相关属性的叫attribute buffer，保存payload的叫payload buffer。下图是JB里存RTP包的buffer关系图：

  

要明确哪几种类型的RTP包会被PUT进JB，我最初设计JB时类型有G711/G722/G729/SID(静音包)/RFC2833（DTMF包）。G711/G722十毫秒payload是80个字节，G729十毫秒payload是10个字节，当VAD使能时十毫秒payload是2个字节（G729 VAD是内置的）或0个字节（DTX），一个SID包payload是1个或11个字节，一个RFC2833包payload是4个字节，明确这些是为了确定payload buff