H265学习之NALU头

一、HEVC 的NALU头结构：
HEVC 的NALU头结构包含两字节，如下。

            +---------------+---------------+
            |0|1|2|3|4|5|6|7|0|1|2|3|4|5|6|7|
            +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
            |F|   Type    |  LayerId  | TID |
            +-------------+-----------------+

F: 1bit，必须为0，为1表示语法错误，整包将被丢弃。
NalType： 6bit，范围是[0，63]，nalu包的类型，其中VCL NAL和non-VCL NAL各有32类。0-31是vcl nal单元；32-63，是非vcl nal单元。VCL是指携带编码数据的数据流，而non-VCL则是控制数据流。
LayerId： 表示NAL所在的Access unit所属的层，该字段是为了HEVC的继续扩展设置。也就是目前都是0，以后的扩展可能会用到。
TID： 此字段指定nal单元加1的时间标识符。时间id的值等于tid-1，tid的值为0是非法的，以确保nal单元报头中至少只有一个比特等于1，以便能够在nal单元头和nal单元有效负载数据中独立考虑启动代码仿真。

二、NALU类型计算方法：
H.265的NALU类型是在信息头的第一个字节的第2到7位，所以判断H.265NALU类型的方法是将NALU第一个字节与0x7E进行与操作并右移一位，即：

int type = (NALU头第一字节 & 0x7E) >> 1

三、H265 常见帧类型：

VPS， SPS， PPS， I帧， P帧， B帧

四、常用nalu type：

语义为视频参数集 VPS
HEVC_NAL_VPS 32
语义为序列参数集 SPS
HEVC_NAL_SPS 33
语义为图像参数集 PPS
HEVC_NAL_PPS 34
语义为补充增强信息 SEI
HEVC_NAL_SEI_PREFIX 39HEVC_NAL_SEI_SUFFIX 40
视频帧数据流IDR ------ 下列均为视频帧，若要区分I B P 需要进一步分析
HEVC_NAL_TRAIL_N 0
HEVC_NAL_TRAIL_R 1
HEVC_NAL_TSA_N 2
HEVC_NAL_TSA_R 3
HEVC_NAL_STSA_N 4
HEVC_NAL_STSA_R 5
HEVC_NAL_BLA_W_LP 16
HEVC_NAL_BLA_W_RADL 17
HEVC_NAL_BLA_N_LP 18
HEVC_NAL_IDR_W_RADL 19
HEVC_NAL_IDR_N_LP 20
HEVC_NAL_CRA_NUT 21
HEVC_NAL_RADL_N 6
HEVC_NAL_RADL_R 7
HEVC_NAL_RASL_N 8
HEVC_NAL_RASL_R 9

在性能不足，或者音画不同步时，需要进行丢帧，H264丢帧根据nal_ref_idc来判断，H265根据来NALU type判断。以下type是可以丢帧，且不花屏的：HEVC_NAL_TRAIL_N、HEVC_NAL_TSA_N、HEVC_NAL_STSA_N、HEVC_NAL_RADL_N、HEVC_NAL_RASL_N。

五、SPS、PPS、VPS：
编码完成之后的码流中还存在描述解码相关的语法元素。 这些语法元素是按照编码的分层结构进行组织的。包括 SPS、PPS、VPS。
按照层次从上到下 GOP（图像组）-- 图像 – （slice）—（tile（不一定有））— ctu – cu。

SPS
SPS的内容大致可以分为几个部分：1、自引ID；2、解码相关信息，如档次级别、分辨率、子层数等；3、某档次中的功能开关标识及该功能的参数；4、对结构和变换系数编码灵活性的限制信息；5、时域可分级信息；6、VUI。

属于GOP层语法元素 存储在序列参数集(Sequence Parameter Set，SPS)：
SPS包含了一个CVS (Coded Video Sequence)中所有图像共用的信息。其中CVS被定义为一个GOP编码后所生成的压缩数据。SPS的内容大致包括解码相关信息，如档次级别、分辨率、某档次中编码工具开关标识和涉及的参数、时域可分级信息等。可以根据SPS计算视频的宽和高。

width  = sps->pic_width_in_luma_samples;
height = sps->pic_height_in_luma_samples;

当窗口有裁剪时(conformance_window_flag为1)，计算如下：

sub_width_c  = ((1==chroma_format_idc)||(2 == chroma_format_idc))&&(0==separate_colour_plane_flag)?2:1;
sub_height_c = (1==chroma_format_idc)&& (0 == separate_colour_plane_flag)?2:1;
width  -= (sub_width_c*conf_win_right_offset + sub_width_c*conf_win_left_offset);
height -= (sub_height_c*conf_win_bottom_offset + sub_height_c*conf_win_top_offset);

帧率：
H264和H265帧率计算公式相同，如下：

max_framerate = (float)(sps->vui.vui_time_scale) / (float)(sps->vui.vui_num_units_in_tick);

PPS
属于Slice层中共用的语法元素，存储在图像参数集(PictureParameter Set，PPS)：
PPS包含一幅图像所用的公共参数，即一幅图像中所有SS引用同一个PPS。其大致内容包括初始图像控制信息，如初始量化参数(Quantization Parameter，QP)、分块信息等。此外，为了兼容标准在其他应用上的扩展，例如可分级视频编码器、多视点视频编码器。
VPS
视频参数集( Video Parameter Set，VPS)：
内容大致包括多个子层共享的语法元素，其他不属于SPS的特定信息等。
对于一个SS，通过引用它所使用的PPS，该PPS又引用其对应的SPS，该SPS又引用它对应的VPS，最终得到SS的公用信息。
参数集是一个独立的数据单位，它包含视频的不同层级编码单元的共享信息，只有当参数集直接或间接被SS引用时才有效。一个参数集并不对应某个特定的图像或CVS，同一个VPS或SPS可以被多个CVS引用，同一个PPS可以被多个图像引用。

六、SPS PPS和VPS的关系图：

七、封装格式：
H.265码流也有两种封装格式，一种是用起始码作为分界的Annex B格式，另一种则是在NALU头添加NALU长度前缀的格式，称为HVCC。