nal_unit_type | NAL 单元和 RBSP 语法结构的内容 | |
0 | 未指定 | |
1 | 一个非IDR图像的编码条带 slice_layer_without_partitioning_rbsp( ) | |
2 | 编码条带数据分割块A slice_data_partition_a_layer_rbsp( ) | |
3 | 编码条带数据分割块B slice_data_partition_b_layer_rbsp( ) | |
4 | 编码条带数据分割块C slice_data_partition_c_layer_rbsp( ) | |
5 | IDR图像的编码条带 slice_layer_without_partitioning_rbsp( ) | |
6 | 辅助增强信息 (SEI) sei_rbsp( ) | |
7 | 序列参数集 seq_parameter_set_rbsp( ) | |
8 | 图像参数集 pic_parameter_set_rbsp( ) | |
9 | 访问单元分隔符 access_unit_delimiter_rbsp( ) | |
10 | 序列结尾 end_of_seq_rbsp( ) | |
11 | 流结尾 end_of_stream_rbsp( ) | |
12 | 填充数据 filler_data_rbsp( ) | |
13 | 序列参数集扩展 seq_parameter_set_extension_rbsp( ) | |
14...18 | 保留 | |
19 | 未分割的辅助编码图像的编码条带 slice_layer_without_partitioning_rbsp( ) | |
20...23 | 保留 | |
24...31 | 未指定 |
下表是H.264標準中定義所有NAL的類型
#define NALU_TYPE_SLICE 1
#define NALU_TYPE_DPA 2
#define NALU_TYPE_DPB 3
#define NALU_TYPE_DPC 4
#define NALU_TYPE_IDR 5
#define NALU_TYPE_SEI 6
#define NALU_TYPE_SPS 7
#define NALU_TYPE_PPS 8
#define NALU_TYPE_AUD 9
#define NALU_TYPE_EOSEQ 10
#define NALU_TYPE_EOSTREAM 11
#define NALU_TYPE_FILL 12
因此當nal_unit_type值為7時,則這個NAL unit即為SPS。而值為8時,這個NAL unit為PPS。
________________________________________________________________________________________
nal_unit:
{
forbidden_zero_bit (1 bit)
nal_ref_idc (2 bits)
nal_unit_type (5 bits)
RBSP(Raw Byte Sequence Payloads)
}
舉例來說,若擷取某一段H.264 bitstream為00 00 00 01 67 42 e0 14 da 05 82 51。
因為67 = 0 11 00111,nal_unit_tye = 00111 = 7,所以這一段為SPS。
又另一例00 00 00 01 68 ce 30 c4 80 00 00 00 00 00 00 00
68 = 01000,nal_unit_tye = 01000 = 8,所以這一段為PPS。
forbidden_zero_bit==0
nal_ref_idc :不等于0 时,规定NAL 单元的内容包含一个序列参数集,或一个图像参数集,或一个参考图像条带,或一个参考图像的条带数据分割。
nal_unit_type :是指包含在NAL 单元中的RBSP 数据结构的类型,VCL NAL 单元是指那些 nal_unit_type值等于1到5(包括1和5)的NAL单元。所有其他的NAL单元都称作非VCL NAL单元
当一个编码图像条带NAL 单元的nal_unit_type 值等于5 时,编码的同一图像其他所有的VCL NAL 单元的
nal_unit_type值都应该为5。这样的图像称作IDR图像。
注 :— 条带数据分割不可以用于IDR图像
如果一个包含一个条带或条带数据分割的NAL 单元的nal_ref_idc 等于0 时,该条带或条带数据分割是一个非参考图像的一部分。
对于序列参数集或序列参数集扩展或图像参数集的NAL单元,nal_ref_idc不应等于0。当一个特定的图像的一个条带或条带数据分割NAL单元的nal_ref_idc等于0,该图像的所有条带或条带数据划分NAL单元都应该等于0。
IDR NAL单元的nal_ref_idc不应等于0,即nal_unit_type等于5的NAL单元。
所有nal_unit_type等于6、9、10、11或12的NAL单元其nal_ref_idc都应等于0。
________________________________________________________________________________________
H.264的参数集又分为序列参数集(Sequence parameter set)和图像参数集(Picture parameter set)。
序列参数集包括一个图像序列的所有信息,即两个IDR图像间的所有图像信息。
图像参数集包括一个图像的所有分片的所有相关信息,包括图像类型、序列号等,解码时某些序列号的丢失可用来检验信息包的丢失与否。(图像参数集,作用于视频序列中的一个或多个个别的图像序列和图像参数集机制,减少了重复参数的传送,每个VCL NAL单元包含一个标识,指向有关的图像参数集,每个图像参数集包含一个标识,指向有关的序列参数集的内容因此,只用少数的指针信息,引用大量的参数,大大减少每个VCL NAL单元重复传送的信息。)
多个不同的序列和图像参数集存储在解码器中,编码器依据每个编码分片的头部的存储位置来选择适当的参数集,图像参数集本身也包括使用的序列参数集参考信息。
参数集具体实现的方法也是多样化的:(1)通过带外传输,这种方式要求参数集通过可靠的协议,在首个片编码到达之前传输到解码器;(2)通过带内传输,这需要为参数集提供更高级别的保护,例如发送复制包来保证至少有一个到达目标;(3)在编码器和解码器采用硬件处理参数集。
序列参数集以及图像参数集要在解码前传输,在解码的过程中被激活。一旦被激活,则上一个序列参数集或者图象参数集就失效了。图象参数集是被使用它的slice data或者使用它的A分割的Nalu激活的。而序列参数集是被使用它的图象参数集或者包括缓冲期消息的SEI nalu所激活。同一个IDR图象的序列参数集有相同的seq_parameter_set_id,直到一个图象的最后一个access unit或者包括缓冲期消息的SEI Nalu,这时需要出现下一个图象的序列参数集。下一个图象的序列参数集被SEI nalu激活。如果序列参数集和图象参数集是通过其他传输管道发送的,则要保证以上的传输顺序。
存储单元:
一组指定格式的NAL单元称为存储单元,每个存储单元对应一个图像。每个存储单元包含一组VCL NAL单元,组成一个主编码图像,VCL NAL单元由表示视频图像采样的像条所组成。存储单元前面可以加一个前缀,分界存储单元,附加增强信息(SEI)(如图像定时信息)也可以放在主编码图像的前面。主编码图像后附加的VCL NAL单元,包含同一图像的冗余表示,称为冗余编码图像,当主编码图像数据丢失或损坏时,可用冗余编码图像解码。
编码视频序列
一个编码视频序列由一串连续的存储单元组成,使用同一序列参数集。每个视频序列可独立解码。编码序列的开始是即时刷新存储单元(IDR)。IDR是一个I帧图像,表示后面的图像不用参考以前的图像。一个NAL单元流可包含一个或更多的编码视频序列。
转自:http://blog.csdn.net/wangjiannuaa/article/details/6966505