【网络-rtp】004 参数集 与 NALU unit header and type

1 参数集

H.264规范包括两种类型的参数集:序列参数集和图像参数集。

HEVC也就是H265在H.264/AVC的基础上引入了视频参数集(Video Parameter Set,VPS)。这样HEVC共定义了3类参数集：视频参数集(Video Parameter Set,VPS)、序列参数集(Sequence Parameter Set,SPS)、图像参数集(Picture Parameter Set,PPS)。

PPS ：一种语法结构，包含适用于零个或多个完整编码图片的语法元素，由每个切片段头中的语法元素确定。

SPS：一种语法结构，包含适用于零个或多个完整cvs的语法元素，由每个片段报头中找到的语法元素所引用的PPS中找到的语法元素的内容决定

VPS:一种语法结构，它包含适用于零个或多个完整cvs的语法元素，由每个片段报头中找到的语法元素所引用的SPS中找到的语法元素的内容决定。

2 NALU unit

NAL的英文全称为Network Abstract Layer，即网络抽象层 （对应 五层协议的 传输层）

在H264/AVC视频编解码标准中，整个系统框架分为两个层面，视频编解码层面(VCL)和网络抽象层面(NAL)。VCL负责有效表示视频数据内容，NAL负责格式化数据并加上相应的头信息，以保证数据适合各种信道和存储介质上的传输。NAL单元NALU是NAL的基本语法结构，它包含一个字节的头信息和一系列来自VCL的原始字节载序列载荷(RBSP)的字节流。

2.1 NAL Unit Header (H.265)

1）F: 1 bit
forbidden_zero_bit. Required to be zero in [HEVC].

2）Type: 6 bits
nal_unit_type。该字段指定NAL单元类型，如[HEVC]表7-1所定义。如果NAL unit
的该字段的最高位等于0(即该字段的值小于32)，则该NAL单位为VCL(video code layer) NAL单位。
否则，NAL单元为非vcl NAL单元。

3）LayerId: 6 bits
nuh_layer_id。在[HEVC]中要求等于零。预计在本规范的未来可扩展或3D视频编码扩展中，该语法元素将用于识别可能存在于CVS中的其他层，其中层可能是，例如，空间可扩展层，质量可扩展层，纹理视图或深度视图。

4）TID: 3 bits
nuh_temporal_id_plus1. This field specifies the temporal
identifier of the NAL unit plus 1. The value of TemporalId is
equal to TID minus 1. A TID value of 0 is illegal to ensure that
there is at least one bit in the NAL unit header equal to 1, so to
enable independent considerations of start code emulations in the
NAL unit header and in the NAL unit payload data.

2.2 NAL Unit Header (H.264)

F: 1 bit
forbidden_zero_bit. H.264规范将值1声明为语法违规。

NRI: 2 bits 传输优先级，值越大，优先级越高
nal_ref_idc. 值为00表示不使用NAL单元的内容来重建用于图像间预测的参考图像。这样的NAL单元可以被丢弃，而不会危及参考图片的完整性。值大于00表示需要对NAL单元进行解码，以保持参考图片的完整性。

除了上述规范之外，根据RTP有效载荷规范，NRI大于00的值表示由编码器确定的相对传输优先级。MANEs可以使用这些信息来保护更重要的NAL单元，而不是不太重要的NAL单元。最高的传输优先级是11，其次是10，然后是01;最后，00是最低的。

当nal_unit_type的值在1到12的范围内时，H.264编码器必须根据H.264规范(子条款7.4.1)设置NRI的值。特别是，H.264规范要求对于nal_unit_type为6,9,10,11或12的所有NAL单元，NRI的值必须等于0

对于nal_unit_type等于7或8(分别表示序列参数集或图像参数集)的NAL单元，H.264编码器应该将NRI的值设置为11(以二进制格式)。对于nal_unit_type等于5的主编码图像的编码片NAL单元(表示属于IDR图像的编码片)，H.264编码器应该将NRI的值设置为11(以二进制格式)。

Type: 5 bits
nal_unit_type.