H264帧 通过 RTP 打包

多媒体实时通信（如语音或视频通话）一般会使用RTP/UDP进行传输，本文对H264视频在RTP传输的数据格式进行总结，RFC6184 《RTP Payload Format for H.264 Video》是H264 over RTP的规范文档，详细的内容和细节请参考该规范。

H264帧结构

RTP封包H264的方式

NALU打包成RTP的方式有三种：

• 单一 NAL 单元模式
  即一个RTP 包仅由一个完整的 NALU 组成. 用于 NALU 的长度小于 MTU 大小的包.
• 组合封包模式
  NALU 的长度特别小时, 可以把几个 NALU 单元封在一个 RTP 包中.
• 分片封包模式
  用于把一个NALU 单元封装成多个 RTP 包，当 NALU 的长度超过 MTU 时, 就必须对 NALU 单元进行分片封包. 也称为 Fragmentation Units (FUs).

打包流程

NALU的大小是不一样的，如果是非视频数据的SPS PPS才十几个字节，对于IDR帧，则有可能几十KB。这样把NALU打包到RTP方式就很多：分为一个RTP包承载一个NALU，多个NALU合并到一个RTP，一个大的NALU切分成多个RTP。

• 从H264编码器读出一帧数据（一个完整的H264帧）

• 然后遍历H264的所有NALU

• 如果NALU长度小于MTU，则将该NALU打包为一个RTP包

• 否则，将NALU按照MTU大小进行分片（本文只用FU-A分片格式）

NALU打包到RTP

上图展示了如何将一个NALU打包到RTP的payload；上图的左边的打包流程对应的场景是“NALU的长度 <= MTU”，直接将NALU的header拷贝到H264 RTP Payload Header上，将NALU的RBSP拷贝到H264 RTP Payload Content上。

上图右边的打包流程对应的场景是“NALU的长度 > MTU”，要将NALU的RBSP进行分片，以保证打包后的RTP报文长度不大于MTU，H264 RTP Payload Header由FU-identity + FU Header组成；FU-identity字段和NALU header字段的格式一样，其最低的5bits表示payload的类型（不同的取值表示RTP的类型不同，见下表）；FU payload就是NALU的RBSP（一部分）；另外，属于同一H264帧的所有RTP头的时间戳都要打成相同的，接收端根据时间戳来判断哪些包是属于同一个H264帧的。

 	Type   Packet      Typename                      
    ---------------------------------------------------------
    0      undefined                                   -
    1-23   NAL unit    Single NAL unit packet perH.264  
    24     STAP-A      Single-timeaggregation packet    
    25     STAP-B      Single-timeaggregation packet    
    26     MTAP16      Multi-time aggregationpacket     
    27     MTAP24      Multi-time aggregationpacket     
    28     FU-A        Fragmentationunit               
    29     FU-B        Fragmentationunit                
    30-31  undefined