H264结构及RTP封装

        H264是一种针对视频的压缩编码方式。

一、压缩方法

        H264主要基于以下几种方法，将数据进行压缩：

1.帧内预测压缩：解决空间域数据冗余的问题

2.帧间预测压缩：（运动估计与补偿）解决时间域数据冗余的问题

3.整数离散余弦变换(DCT)：将空间上的相关性转换为频域上的无关性，然后量化

二、压缩后数据

        压缩后，H264文件由I帧、B帧、P帧和GOP图像序列组成。

I帧：关键帧，由帧内压缩得到

B帧：双向预测帧，由帧间压缩得到，压缩时既考虑前面的帧，又考虑后边的帧

P帧：前向预测帧，由帧间压缩得到，压缩时只考虑前面处理的帧

GOP图像序列：由一个关键帧（I 帧）和后续的若干预测帧（P 帧和 B 帧）组成

三、H264组成

        H264由网络提取层 + 视讯编码层这两层组成。

1.网络提取层（NAL）：网络编码后产生的数据流。通过NAL的第一个字节可以判断帧的类型

2.视讯编码层（VCL）：是一个过程的汇总，由数据通过压缩编码得到NAL的过程，称为VCL

四、码流结构

        视频数据序列被压缩后形成VCL数据，VCL数据要封装在NAL单元中才可以传输。

SPS：序列参数集，作用于一系列连续的编码图像

PSS：图像参数集，作用于编码视频序列中一个或多个独立图像

         上图中的NALU可以分为两种：VCL类型 和 非VCL类型

五、IDR帧

        IDR帧，一种特殊的I帧。

一般由于B和P帧都需要参考前后帧进行压缩，因此缓冲区中总保存着前后帧的信息。当解码器接收到当前是IDR帧时，会清空当前缓冲区，找到第一个IDR帧，并重新解码。

        每一个GOP的第一个帧就是IDR帧。（当图像差异过大时，会出现IDR帧）

六、封装成RTP包

6.1 H264二进制数据结构

        H264由多个NALU组成，每个NALU之间使用00 00 00 01 或00 00 01分隔。

        （00 00 00 01表示帧之间的分隔，00 00 01表示切片分隔）

每个NALU的第一个字节意义如下：

（以下数据结构为主机字节顺序：小端存储）

//NALU的第一个字节
uint8_t : 5; //第4-8位，NALU类型  
uint8_t : 2; //第2-3位，NALU重要性
uint8_t : 1; //第1位，一般为0。为1表示有语法错误

（下表为网络字节顺序：大端存储）

位数	0	1             2	3             4             5             6             7
解释	必须为0 当为1时， 表示有语法错误	此NALU的重要性 越大越重要	此NALU的类型 常用NALU类型对应：         SEI： 0x06（0 00 00110）        type=6         SPS：0x67（0 11 00111）        type=7         PPS：0x68（0 11 01000）        type=8         IDR：0x66（0 11 00110）        type=5         IDR：0x46（0 10 00110）        type=5         IDR：0x16（0 01 00110）        type=5         IDR：0x06（0 00 00110）        type=5         I帧： 0x61（0 11 00001）        type=1         P帧：0x41（0 10 00001）        type=1         B帧：0x01（0 00 00001）        type=1

（大端存储与小端存储只影响内存中的存储方式，解析时不影响，就是按照上述的数据结构方式）

6.2 三种打包形式

        H264打包成RTP有三种常用的方式：

1. 单NALU打包

        将一整个NSLU放入一个RTP包的有效荷载中

2. 聚合打包

        对于较小的NALU，可以将多个NALU放入一个RTP包的有效荷载中

3. 分片打包

        对于较大的NALU，可以分成多片，分别放入多个RTP包的有效荷载中。

为了告知此RTP包是上一个NALU的延续，用RTP包的有效荷载的前两个字节来标识：

        第一个字节被称为FU Indicator，格式如下所示：

位数	0	1             2	3             4             5             6             7
解释	与NALU 第一字节相同	与NALU 第一字节相同	值为十进制28（是H.264规定死的）

         第二个字节被称为FU Header，格式如下所示：

位数	0	1	2	3            4            5           6           7
解释	S位 标识是NALU的第一个包	E位 标识是NALU的最后一个包	R位 保留位 必须为0	与NALU第一字节相同