H264编码

一、实验要求

1、选择一个.mp4或者.264文件

2、在码流分析仪软件中打开该文件，从几个层次进行分析：

1）分析SPS和PPS里都包含哪些主要的信息，给出参数值。
2）以一个GOP为例，分析如下信息：
2.1每个图像帧的类型及所用的编码比特数、QP值；并以图像帧号为横坐标、每帧所用比特数为纵坐标画出曲线图；以图像帧号为横坐标、每帧所用QP为纵坐标画出曲线图。
2.2以第一个I帧作为分析对象，基于该帧图像的空间特性，分析每个宏块所采用的编码类型及其比例。
2.3以第一个P帧作为分析对象，基于该帧图像的空间和时间特性，分析每个宏块所采用的编码类型及其比例。
2.4以某一个B帧作为分析对象，基于该帧图像的空间和时间特性，分析每个宏块所采用的编码类型及其比例。

二、实验内容

1、SPS和PPS分析

一般情况SPS和PPS的NAL Unit通常位于整个码流的起始位置。

SPS即Sequence Paramater Set，又称作序列参数集。SPS中保存了一组编码视频序列的全局参数。所谓的编码视频序列即原始视频的一帧一帧的像素数据经过编码之后的结构组成的序列。而每一帧的编码后数据所依赖的参数保存于图像参数集中。在做视频播放器时，为了让后续的解码过程可以使用SPS中包含的参数，必须对其中的数据进行解析。其格式于标准文件中给出

下面对用码流分析软件分析的文件SPS进行解析

(1) profile_idc：标识当前H.264码流的profile。
profile_idc = 66 → baseline profile;
(2) level_idc：标识当前码流的Level。编码的Level定义了某种条件下的最大视频分辨率、最大视频帧率等参数，码流所遵从的level由level_idc指定。
level_idc = 31，代表码流的级别
(3) log2_max_frame_num_minus4:用于计算MaxFrameNum的值。计算公式为MaxFrameNum = 2^(log2_max_frame_num_minus4 + 4)。MaxFrameNum是frame_num的上限值，frame_num是图像序号的一种表示方法，在帧间编码中常用作一种参考帧标记的手段。
(4) num_ref_frames：用于表示参考帧的最大数目。
num_ref_frames=2表示最大参考帧数为2。
(5) pic_width_in_mbs_minus1：用于计算图像的宽度。单位为宏块个数，因此图像的实际宽度为:
frame_width = 16 × (pic_width_in_mbs_minus1 + 1)=16*54=864;（亮度分量以像素为单位）

(6) pic_height_in_map_units_minus1:使用PicHeightInMapUnits来度量视频中一帧图像的高度。PicHeightInMapUnits并非图像明确的以像素或宏块为单位的高度，而需要考虑该宏块是帧编码或场编码。PicHeightInMapUnits的计算方式为：
PicHeightInMapUnits = pic_height_in_map_units_minus1 + 1=30;
(以 map_unit 为单位）
(7) frame_mbs_only_flag:标识位，说明
宏块的编码方式:
当该标识位为0时，宏块可能为帧编码或场编码；
该标识位为1时，所有宏块都采用帧编码。
根据该标识位取值不同，PicHeightInMapUnits的含义也不同:
为0时表示一场数据按宏块计算的高度
为1时表示一帧数据按宏块计算的高度。
按照宏块计算的图像实际高度FrameHeightInMbs的计算方法为：
FrameHeightInMbs = ( 2 − frame_mbs_only_flag ) * PicHeightInMapUnits=30
frame_high=16*30=480;
(8) direct_8x8_inference_flag
标识位，用于B_Skip、B_Direct模式运动矢量的推导计算。
(9) frame_cropping_flag
标识位，说明是否需要对输出的图像帧进行裁剪。
(10) vui_parameters_present_flag
标识位，说明SPS中是否存在VUI信息。

PPS即图像参数集Picture Paramater Set(PPS)。通常情况下，PPS类似于SPS，在H.264的裸码流中单独保存在一个NAL Unit中，只是PPS NAL Unit的nal_unit_type值为8；而在封装格式中，PPS通常与SPS一起，保存在视频文件的文件头中。其格式也于标准文件中给出

下面对用码流分析软件分析的文件PPS进行解析

(1) pic_parameter_set_id
表示当前PPS的id。某个PPS在码流中会被相应的slice引用，slice引用PPS的方式就是在Slice header中保存PPS的id值。该值的取值范围为[0,255]。
(2) seq_parameter_set_id
表示当前PPS所引用的激活的SPS的id。通过这种方式，PPS中也可以取到对应SPS中的参数。该值的取值范围为[0,31]。
(3) entropy_coding_mode_flag
熵编码模式标识，该标识位表示码流中熵编码/解码选择的算法。对于部分语法元素，在不同的编码配置下，选择的熵编码方式不同。例如在一个宏块语法元素中，宏块类型mb_type的语法元素描述符为“ue(v) | ae(v)”，在baseline profile等设置下采用指数哥伦布编码，在main profile等设置下采用CABAC编码。
标识位entropy_coding_mode_flag的作用就是控制这种算法选择。当该值为0时，选择左边的算法，通常为指数哥伦布编码或者CAVLC；当该值为1时，选择右边的算法，通常为CABAC。
(4) bottom_field_pic_order_in_frame_present_flag
标识位，用于表示另外条带头中的两个语法元素delta_pic_order_cnt_bottom和delta_pic_order_cn是否存在的标识。这两个语法元素表示了某一帧的底场的POC的计算方法。
(5) num_slice_groups_minus1
表示某一帧中slice group的个数。当该值为0时，一帧中所有的slice都属于一个slice group。slice group是一帧中宏块的组合方式。
(6) num_ref_idx_l0_default_active_minus1、num_ref_idx_l0_default_active_minus1
表示当Slice Header中的num_ref_idx_active_override_flag标识位为0时，P/SP/B slice的语法元素num_ref_idx_l0_active_minus1和num_ref_idx_l1_active_minus1的默认值。
(7) weighted_pred_flag
标识位，表示在P/SP slice中是否开启加权预测。
(8) weighted_bipred_idc
表示在B Slice中加权预测的方法，取值范围为[0,2]。0表示默认加权预测，1表示显式加权预测，2表示隐式加权预测。
(9) pic_init_qp_minus26和pic_init_qs_minus26
表示初始的量化参数。实际的量化参数由该参数、slice header中的slice_qp_delta/slice_qs_delta计算得到。
(10) chroma_qp_index_offset
用于计算色度分量的量化参数，取值范围为[-12,12]。
(11) deblocking_filter_control_present_flag
标识位，用于表示Slice header中是否存在用于去块滤波器控制的信息。当该标志位为1时，slice header中包含去块滤波相应的信息；当该标识位为0时，slice header中没有相应的信息。
(12) constrained_intra_pred_flag
若该标识为1，表示I宏块在进行帧内预测时只能使用来自I和SI类型宏块的信息；若该标识位0，表示I宏块可以使用来自Inter类型宏块的信息。
(13) redundant_pic_cnt_present_flag
标识位，用于表示Slice header中是否存在redundant_pic_cnt语法元素。当该标志位为1时，slice header中包含redundant_pic_cnt；当该标识位为0时，slice header中没有相应的信息。

2、每个图像帧的类型及所用的编码比特数、QP值；并以图像帧号为横坐标、每帧所用比特数为纵坐标画出曲线图；以图像帧号为横坐标、每帧所用QP为纵坐标画出曲线图。

（1）分析demo.mp4文件

通过view——info看qp值：

比特数、QP值：



生成的曲线图