看完就懂的《H264编码原理及框图》

H264编码原理及框图

————————————
分析H264原理：

1. H264是新一代的编码标准，以高压缩高质量和支持多重网络的流媒体著称，在编码上，主要是以下理解：参照一段时间内图像的统计结果表明，在相邻几幅图像画面中，一般差别的像素只有10%以内的点，量度差值不超过2%，而色度差只有1%内的变化。所以对于一段变化不大的图像画面，我们可以先编码出一个完整的图像帧A，随后B就不编码全部图像只写入与A帧的差别这样B帧的大熊就只有完整帧的1/10或更小。B帧之后的C帧如果变化不大，可以继续参考B的方式编码C帧，以此类推，循环下去。这段图像称为一个序列（序列就是有相同特点的一段数据），也称GOP图像组（GOP图像组就是有相同特点的一段数据）。当某个图像生成一个完整帧A1，随后的图像就参考A1生成，只写入与A1的差别内容。当某个图像与之前的图像变化很大，无法参考前面的帧来生成，那我们就结束上一个GOP图像组，开始下一段GOP图像组
2. H264定义三种帧，完整的编码帧称为Ｉ帧,参考之前Ｉ帧生成的只包含差异部分的编码的帧叫P帧，还有一种参照前后帧编码的帧叫B帧。
3. H264采用的核心算法是帧内压缩和帧间压缩，帧内压缩是生成Ｉ帧的算法，帧间压缩是生成B帧和P帧的算法。
4. 在H.264基准类中，仅使用I帧和P帧以实现低延时，因此是网络摄像机和视频编码器的理想选择。

参照上图
序列的说明
　在H264中图像以序列为单位进行组织，一个序列是一段图像编码后的数据流，以Ｉ帧开始到下一个Ｉ帧结束。
　一个序列的第一个图像叫做ＩＤＲ图像（立即刷新图像），IDR图像都是Ｉ帧图像。H264引入IDR图像是为了解码的重同步，当解码器解码到ＩＤＲ图像时，立即将参考帧队列清空将已解码的数据全部输出或抛弃,重新查找参数集，开始一个新的序列。这样。如果前一个序列出现重大错误，在这里可以获得重新同步的机会。ＩＤＲ图像之后的图像就永远不会使用ＩＤＲ之前的图像的数据来解码。
　一个序列就是一段内容差异不太大的图像编码后生成的一串数据流。当运动变化比较少时，一个序列可以很长，因为运动变化的少就表示图像内容变动很小，所以就可以编写一个Ｉ帧然后一直P帧、B帧了。当运动变化多时，可能一个序列就比较短，比如包含一个Ｉ帧和3、4个P帧。

三种帧的说明

1. Ｉ帧
   Ｉ帧：帧内编码帧，Ｉ帧表示关键帧，理解为这一阵的画面完整保留；解码时只需要本帧数据就可以完成（因为本帧包含完整画面）
   Ｉ帧特点：
   1)它是一个全帧压缩编码帧。它将全帧图像信息进行JPEG压缩编码及传输;
   2)解码时仅用I帧的数据就可重构完整图像;
   3)I帧描述了图像背景和运动主体的详情;
   4)I帧不需要参考其他画面而生成;
   5)I帧是P帧和B帧的参考帧(其质量直接影响到同组中以后各帧的质量);
   6)I帧是帧组GOP的基础帧(第一帧),在一组中只有一个I帧;
   7)I帧不需要考虑运动矢量;
   8)I帧所占数据的信息量比较大。

2. P帧
   P帧：前向预测编码帧。P帧表示的是这一帧跟之前的关键帧（或P帧）的差别，解码是需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面。（也就是差别真，P帧没有完整画面数据，只有与前一帧的画面差别的数据）
   P帧的预测与重构：P帧是以Ｉ帧为参考帧，在Ｉ帧中找出Ｐ帧“某点”的预测值和运动矢量，取预测差值和运动矢量一起传送。在接收端根据运动矢量从Ｉ帧中找到Ｐ帧“某点”的预测值并与差值相加以得Ｐ帧“某点”样值，从而可得到完整的Ｐ帧。
   P帧特点:
   1)P帧是I帧后面相隔1~2帧的编码帧;
   2)P帧采用运动补偿的方法传送它与前面的I或P帧的差值及运动矢量(预测误差);
   3)解码时必须将I帧中的预测值与预测误差求和后才能重构完整的P帧图像;
   4)P帧属于前向预测的帧间编码。它只参考前面最靠近它的I帧或P帧;
   5)P帧可以是其后面P帧的参考帧,也可以是其前后的B帧的参考帧;
   6)由于P帧是参考帧,它可能造成解码错误的扩散;
   7)由于是差值传送,P帧的压缩比较高

3. B帧特点
   Ｂ帧：双向预测内插编码帧。B帧就是双向差别帧，也就是B帧记录的是本帧与前后帧的差别。总而言之，要解码B帧，不仅要去的之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面。B帧压缩效率高，但是解码时CPU会比较累。
   B帧的预测与重构
   B帧以前的Ｉ或者Ｐ和后面的Ｐ帧作为参考帧，“找出”Ｂ帧“某点”的预测值和两个运动矢量，并取预测差值和运动矢量传送。接收端根据运动矢量在两个参考帧中“找出（算出）”预测值并与差值求和，得到Ｂ帧“某点”样值，从而可得到完整的Ｂ锁。
   B帧特点
   1）B帧是由前面的I或P帧和后面的P帧来进行预测的;
   2）B帧传送的是它与前面的I或P帧和后面的P帧之间的预测误差及运动矢量;
   3）B帧是双向预测编码帧;
   4）B帧压缩比最高,因为它只反映丙参考帧间运动主体的变化情况,预测比较准确;
   5）B帧不是参考帧,不会造成解码错误的扩散。

注:I、B、P各帧是根据压缩算法的需要，是人为定义的,它们都是实实在在的物理帧。一般来说，I帧的压缩率是7（跟JPG差不多），P帧是20，B帧可以达到50。可见使用B帧能节省大量空间，节省出来的空间可以用来保存多一些I帧，这样在相同码率下，可以提供更好的画质。
h264的压缩方法:

1.分组:把几帧图像分为一组(GOP，也就是一个序列),为防止运动变化,帧数不宜取多。

2.定义帧:将每组内各帧图像定义为三种类型,即I帧、B帧和P帧;

3.预测帧:以I帧做为基础帧,以I帧预测P帧,再由I帧和P帧预测B帧;

4.数据传输:最后将I帧数据与预测的差值信息进行存储和传输。

概念：

帧内（Intraframe）压缩也称为空间压缩（Spatial compression）。当压缩一帧图像时，仅考虑本帧的数据而不考虑相邻帧之间的冗余信息，这实际上与静态图像压缩类似。帧内一般采用有损压缩算法，由于帧内压缩是编码一个完整的图像，所以可以独立的解码、显示。帧内压缩一般达不到很高的压缩，跟编码jpeg差不多。

帧间（Interframe）压缩的原理是：相邻几帧的数据有很大的相关性，或者说前后两帧信息变化很小的特点。也即连续的视频其相邻帧之间具有冗余信息,根据这一特性，压缩相邻帧之间的冗余量就可以进一步提高压缩量，减小压缩比。帧间压缩也称为时间压缩（Temporal compression），它通过比较时间轴上不同帧之间的数据进行压缩。帧间压缩一般是无损的。帧差值（Frame differencing）算法是一种典型的时间压缩法，它通过比较本帧与相邻帧之间的差异，仅记录本帧与其相邻帧的差值，这样可以大大减少数据量。

顺便说下有损（Lossy ）压缩和无损（Lossy less）压缩。

无损压缩也即压缩前和解压缩后的数据完全一致。多数的无损压缩都采用RLE行程编码算法。

有损压缩意味着解压缩后的数据与压缩前的数据不一致。在压缩的过程中要丢失一些人眼和人耳所不敏感的图像或音频信息,而且丢失的信息不可恢复。

几乎所有高压缩的算法都采用有损压缩,这样才能达到低数据率的目标。丢失的数据率与压缩比有关,压缩比越小，丢失的数据越多,解压缩后的效果一般越差。此外,某些有损压缩算法采用多次重复压缩的方式,这样还会引起额外的数据丢失。

**

视频数据组织结构

**

视频序列层：视频序列有一个序列头部，存储着整个视频序列的信息，比如视频图像的格式，图像的分辨率等，视频序列由多个GOP组成
GOP（图像组）层：视频序列由多个图像组成，包括I 、P、B三种不同类型的帧。
I帧：利用内帧的空间相关进行压缩，压缩效率最低，但必不可少，编码无需用到其他帧的信息，是其他帧编解码的基础，在一个GOP中，I帧是编解码的起始点
P帧： 前向预测帧，P帧可以作为其他视频编码时的参考帧，在GOP中，表现为误差在后续帧之间的传播
B帧： 双向预测帧，使用视频序列两个时间方向上的相关性进行压缩，在编码中一般不用作参考帧
图像层 ：一个图像通常被分割为特定大小的块进行编码，这些块称为宏块 多个宏块组合成一个宏块组进行编码，
宏块组层：宏块组可以提供多种附加功能，如：调整网络传输时视频包的大小，抗误码
h264 标准中条带，条带组就是宏块组
宏块层： 宏块可以继续向下分成多个图像块，

H264和H265区别

1. 压缩率：在同样的图像质量下，相比于h264，通过h265编码的视频大小减少了大约40%。
2. 传输码率：h264可以在低于2兆每秒的速度下实现标清数字图像传送。而h265则可以在低于1.5兆每秒的速度下实现全高清视频的传输。
3. 运算需求：由于h265比较h264压缩率更高，编码视频更小，所以对机器的运算需求也要更大。

综上所述，大多数公司采用H264是因为成本问题同时也是因为运算效率问题。