RTP打包发送H264之封包详解

RFC3984是H.264的baseline码流在RTP方式下传输的规范，这里只讨论FU-A分包方式

H264码流结构

单个NAL包单元

12个字节的RTP头后面就是音视频数据，比较简单。一个封装单个NAL单元包到RTP的NAL单元流的RTP序号必须符合NAL单元的解码顺序。

• 对于NALU的长度小于MTU大小的包，一般采用单一NAL单元模式。
• 对于一个原始的H.264 NALU单元常由[start code][NALU Head][NALU payload]三部分组成，其中start code用于表示这是一个NALU单元的开始。必须是“00 00 00 01”或“00 00 01”NALU头仅一个字节，其后都是NALU单元内容。
• 打包时去除“00 00 01”或者“00 00 00 01”的开始码，把其他数据封包到RTP包即可。

   0                   1                   2                   3
   0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
  +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
  |F|NRI|  type   |                                               |
  +-+-+-+-+-+-+-+-+                                               |
  |                                                               |
  |               Bytes 2..n of a Single NAL unit                 |
  |                                                               |
  |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
  |                               :...OPTIONAL RTP padding        |
  +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

如有一个H.264的NALU是这样的：
【00 00 00 01 67 42 A0 1E 23 56 0E 2F …】这是一个序列参数集NAL单元。【00 00 00 01】是四个字节的开始码，67是NALU头，42开始的数据是NALU内容封装成RTO包将如下
【RTP Head】[67 42 A0 1E 23 56 0E 2F…],即只要去掉4个字节的开始码就可以了。

组合封包模式

数据比较大的H264视频包，被RTP分片发送，12字节的RTP头后面跟随的就是FU-A分片，而当NALU的长度超过MTU时，就必须对NALU单元进行分片封包，也称为Fragmentation Unit（FUs）。

   0                   1                   2                   3
   0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
  +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
  | FU indicator  |   FU header  |                               |
  +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+                               |
  |                                                               |
  |                         FU payload                            |
  |                                                               |
  |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
  |                               :...OPTIONAL RTP padding        |
  +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
  Figure 14.  RTP payload format for FU-A

FU indicator 有以下格式：

  +---------------+
  |0|1|2|3|4|5|6|7|
  +-+-+-+-+-+-+-+-+
  |F|NRI|  Type   |
  +---------------+

FU指示字节的类型域的28，29表示FU-A，和FU-B，NRI域的值必须根据分片NAL单元的NRI域的值设置，type就是rtp分片类型。

  .Type   Packet      Type name                       
  ---------------------------------------------------------
  0      undefined                                    -
  1-23   NAL unit    Single NAL unit packet per H.264  
  24     STAP-A     Single-time aggregation packet    
  25     STAP-B     Single-time aggregation packet    
  26     MTAP16    Multi-time aggregation packet     
  27     MTAP24    Multi-time aggregation packet     
  28     FU-A      Fragmentation unit                
  29     FU-B      Fragmentation unit                 
  30-31  undefined  

FU head的格式如下:

  +---------------+
  |0|1|2|3|4|5|6|7|
  +-+-+-+-+-+-+-+-+
  |S|E|R|  Type   |
  +---------------+

• S:1bit 当设置成1，开始位指示分片NAL单元的开始。当跟随的FU荷载不是分片NAL单元荷载的开始，开始位设为0.
• E:1bit 当设置位1，结束位指示分片NAL的结束。即荷载的最后字节也是分片NAL单元的最后一个字节。当跟随的FU荷载不是分片NAL单元的最后分片，结束位设置位0；
• R:1bit 保留位必须设置位0，接收者必须忽略该位
• Type:5bits 此处的type就是NALU头中的type，取1-23的那个值，表示NAL单元荷载类型定义。