网络抽象层单元类型 (NALU):
NALU头由一个字节组成,它的语法如下:
F: 1个比特.
forbidden_zero_bit. 在 H.264 规范中规定了这一位必须为 0.
NRI: 2个比特.
nal_ref_idc. 取00~11,似乎指示这个NALU的重要性,如00的NALU解码器可以丢弃它而不影响图像的回放.
Type: 5个比特.
nal_unit_type. 这个NALU单元的类型.简述如下:
0 没有定义
1-23 NAL单元 单个 NAL 单元包
24 STAP-A 单一时间的组合包
25 STAP-B 单一时间的组合包
26 MTAP16 多个时间的组合包
27 MTAP24 多个时间的组合包
28 FU-A 分片的单元
29 FU-B 分片的单元
30-31 没有定义
1 单包封包
当一个h264的NAL能够也仅仅能放到一个包里,再加一个包就超过MTU时,采用单包封包。
对于 NALU 的长度小于 MTU 大小的包, 一般採用单一 NAL 单元模式。
对于一个原始的 H.264 NALU 单元常由 [Start Code] [NALU Header] [NALU Payload] 三部分组成, 当中 Start Code 用于标示这是一个
NALU 单元的開始, 必须是 "00 00 00 01" 或 "00 00 01", NALU 头仅一个字节, 其后都是 NALU 单元内容.
打包时去除 "00 00 01" 或 "00 00 00 01" 的開始码, 把其它数据封包的 RTP 包就可以。
例:
如有一个 H.264 的 NALU 是这种:
[00 00 00 01 67 42 A0 1E 23 56 0E 2F ... ]
这是一个序列參数集 NAL 单元. [00 00 00 01] 是四个字节的開始码, 67 是 NALU 头, 42 開始的数据是 NALU 内容.
封装成 RTP 包将例如以下:
[ RTP Header ] [ 67 42 A0 1E 23 56 0E 2F ]
即仅仅要去掉 4 个字节的開始码就能够了.
2 组合包
当几个H264的NAL,能够放到一个Rtp而且不超出MTU的长度。
例:
如有一个 H.264 的 NALU 是这种:
[00 00 00 01 67 42 A0 1E 23 56 0E 2F ... ]
[00 00 00 01 68 42 B0 12 58 6A D4 FF ... ]
封装成 RTP 包将例如以下:
[ RTP Header ] [78 (STAP-A头,占用1个字节)] [第一个NALU长度 (占用两个字节)] [ 67 42 A0 1E 23 56 0E 2F ]
[第二个NALU长度 (占用两个字节)] [68 42 B0 12 58 6A D4 FF ... ]
3 分片
当一个h264的NAL在一个rtp包中放不下。当NALU的长度超过MTU时,就必须对NALU单元进行分片封包.也称为Fragmentation Units(FUs).
别被名字吓到这个格式就是上面提到的RTP h264负载类型,Type为FU-A,此处的高三位就是H264的和type的高三位,
此入的type是用来分别FU-A,FU-B..等的。
S bit为1表示分片的NAL開始,当它为1时,E不能为1
E bit为1表示结束,当它为1,S不能为1
R bit保留位
Type就是NALU头中的Type,取1-23的那个值,也即是H264中的type值。
因此FU indicator中的高三位与这里的type合在一起就是h264中ES流中的第五个字节。