H.264入门学习（2）

      今天看了h.264码流的问题，发现以下问题。

        和MPEG2、MPEG4相比，H.264字节流中帧的形式发生了变化。以视频帧为例，MPEG2和MPEG4字节流在传输的时候提取帧的关键参数，将其封装入传输包首部，比如TS包或RTP包，而包负载中的数据仍然是一个完整的图像帧。也就是说，你即使不使用包首部中所设置的关于包负载的参数信息，也能够根据包负载中的帧数据本身进行正确的解码

      H.264码流本身对图像数据就做了处理，将一个完整的图像帧进行分解，抽出序列参数集、图像参数集等帧信息，放到各自对应的NAL中，而图像数据本身则封装进编码条带中。这样，在NAL流中，仅仅根据编码条带NAL单元是解析不出图像来的，必须和序列参数集、图像参数集NAL配合才能解出。也就是说，MPEG2、MPEG4编码的一帧数据，被分解成了H.264中的多个NAL单元，H.264编码的抽象化程度更高了。但是H.264码流在组织的时候仍然是以一帧数据为单位的，它并不会将多帧数据交织到一起，只不过表现在形式上，需要用多个NAL单元才能组成一个完整的数据帧。

      一帧可能有几个SLICE的！你要把所有的SLICE定位出来，然后再找到每个SLICE的起始宏块的地址，地址为0的话就是一帧开始了！

     下面看看H.264编解码的过程吧：

1.编码

   

    编码器采用的仍是变换和预测的混合编码法。在图6.1中，输入的帧或场Fn以宏块为单位被编码器处理。首先，按帧内或者帧间预测编码的方法进行处理。如果采用帧间预测编码，其预测值PRED是由当前片中前面已编码的参考图像经运动补偿（MC）后得到，其中参考图像用F'n-1表示。预测值PRED和当前块相减后，产生一个残差块Dn，经块变换、量化后产生一组量化后的变换系数X，再经熵编码，与解码所需的一些头信息一起组成压缩后的码流，经NAL（网络自适应层）供传输和存储用。

2.解码

    将编码器的NAL输出的H264比特流经熵解码得到量化后的一组变换系数X，再经反量化、反变换，得到残差D'n。利用从该比特流中解码出的头信息，解码器就产生一个预测块PRED，它和编码器中的原始PRED是相同的。当该解码器产生的PRED与残差D'n相加后，就得到了uF'n，再经滤波后，最后就得到滤波后的解码输出图像F'n