RFC3984是H.264的baseline码流在RTP方式下传输的规范,这里只讨论FU-A分包方式
H264码流结构
单个NAL包单元
12个字节的RTP头后面就是音视频数据,比较简单。一个封装单个NAL单元包到RTP的NAL单元流的RTP序号必须符合NAL单元的解码顺序。
- 对于NALU的长度小于MTU大小的包,一般采用单一NAL单元模式。
- 对于一个原始的H.264 NALU单元常由[start code][NALU Head][NALU payload]三部分组成,其中start code用于表示这是一个NALU单元的开始。必须是“00 00 00 01”或“00 00 01”NALU头仅一个字节,其后都是NALU单元内容。
- 打包时去除“00 00 01”或者“00 00 00 01”的开始码,把其他数据封包到RTP包即可。
0 1 2 3
0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|F|NRI| type | |
+-+-+-+-+-+-+-+-+ |
| |
| Bytes 2..n of a Single NAL unit |
| |
| +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| :...OPTIONAL RTP padding |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
如有一个H.264的NALU是这样的:
【00 00 00 01 67 42 A0 1E 23 56 0E 2F …】这是一个序列参数集NAL单元。【00 00 00 01】是四个字节的开始码,67是NALU头,42开始的数据是NALU内容封装成RTO包将如下
【RTP Head】[67 42 A0 1E 23 56 0E 2F…],即只要去掉4个字节的开始码就可以了。
组合封包模式
数据比较大的H264视频包,被RTP分片发送,12字节的RTP头后面跟随的就是FU-A分片,而当NALU的长度超过MTU时,就必须对NALU单元进行分片封包,也称为Fragmentation Unit(FUs)。
0 1 2 3
0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| FU indicator | FU header | |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ |
| |
| FU payload |
| |
| +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| :...OPTIONAL RTP padding |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
Figure 14. RTP payload format for FU-A
FU indicator 有以下格式:
+---------------+
|0|1|2|3|4|5|6|7|
+-+-+-+-+-+-+-+-+
|F|NRI| Type |
+---------------+
FU指示字节的类型域的28,29表示FU-A,和FU-B,NRI域的值必须根据分片NAL单元的NRI域的值设置,type就是rtp分片类型。
.Type Packet Type name
---------------------------------------------------------
0 undefined -
1-23 NAL unit Single NAL unit packet per H.264
24 STAP-A Single-time aggregation packet
25 STAP-B Single-time aggregation packet
26 MTAP16 Multi-time aggregation packet
27 MTAP24 Multi-time aggregation packet
28 FU-A Fragmentation unit
29 FU-B Fragmentation unit
30-31 undefined
FU head的格式如下:
+---------------+
|0|1|2|3|4|5|6|7|
+-+-+-+-+-+-+-+-+
|S|E|R| Type |
+---------------+
- S:1bit 当设置成1,开始位指示分片NAL单元的开始。当跟随的FU荷载不是分片NAL单元荷载的开始,开始位设为0.
- E:1bit 当设置位1,结束位指示分片NAL的结束。即荷载的最后字节也是分片NAL单元的最后一个字节。当跟随的FU荷载不是分片NAL单元的最后分片,结束位设置位0;
- R:1bit 保留位必须设置位0,接收者必须忽略该位
- Type:5bits 此处的type就是NALU头中的type,取1-23的那个值,表示NAL单元荷载类型定义。