H264视频编码的基本了解

参考：https://www.axis.com/files/whitepaper/wp_h264_34203_cn_0901_lo.pdf

因为视频是有图片不断切换产生的，现在一张图片都有几兆，这样一次传输一张完整图片的成本太大，会产生大量的流量。因此会出现压缩编码的需求。H264是其中的一种编码方式，也被称为MPEG-4 part10或者ACV（高级视频编码），是当今市场最高效的视频压缩技术。

在视频监控行业，使用30/25fps的帧速已经成为一种通行的标准。H264能够减少带宽和存储需求，有显著的经济性，可以最大限度的节省成本。然而对网络摄像机和显示终端提出了更高的性能要求。

1.视频压缩的工作原理

视频压缩通过减少和除去冗余视频数据的方式，达到有效发送和存储数字视频文件的目的。在压缩的过程中，需要应用压缩算法对源视频进行压缩产生压缩文件，以便传输和存储。播放前需要应用相反的解压缩算法对数据进行还原。压缩、发送、解压缩和显示文件所需要的时间成为延时。相同处理能力下，压缩算法越高级，延时越长。

视频编解码是指两个协调运行的压缩和解压算法。不同标准的编解码器通常彼此不兼容。可以在同一软件或者硬件中使用多种不同的算法。使用相同压缩标准的编码器之间压缩结果也可能存在差异。只要编码器的输出信号符合标准的格式及解码器的要求，就可以采用不同的实施方式。解码器必须实施某个标准的所有必需部分，才能对符合标准的比特流进行解码。

2.H264类别和级别

和其他标准一样，通过算法特性集合性能级别提供的功能以最佳方式支持常见应用和通用格式。有7个类别分别针对某一类特定应用。分为11个功能级别，对性能、带宽和内存需求进行限制。

3.帧

H264的不同类别，编码器会使用不同类型的帧，I\P\S帧。I帧（帧内编码帧）自带全部信息的独立帧，可独立解码。视频序列的第一帧始终是I帧。比特流遭到破坏需要将I帧用作新查看器的起始点或者重新同布点。I帧不会产生模糊现象，缺点是会占用更多数据位。P帧（帧间预测编码帧）需要参考前面的I帧或者P帧的不同部分才能编码。占数据位少，对前面的P帧和I帧有依赖性，对传输错误敏感。B帧（双向预测编码帧）需要前面和后面I或者P帧作为参考。在H264基准类中仅使用I和P帧，可以实现低延时，是网络摄像机和视频编码器的理想选择。

4.减少数据量

一个图像帧内，可以删除不必要信息，但会导致图像分辨率下降。一系列帧间可通过差分编码减少视频数据量。视频中存在大量运动物体的话，差分编码将无法显著减少数据量，可采用基于块的运动补偿技术。

http://read.pudn.com/downloads147/ebook/635957/%E6%96%B0%E4%B8%80%E4%BB%A3%E8%A7%86%E9%A2%91%E5%8E%8B%E7%BC%A9%E7%BC%96%E7%A0%81%E6%A0%87%E5%87%86H.264.pdf

1.像素间的相关性

同一幅图像中有许多像素点组成，两个像素之间的距离越短，相关性越强，像素值越接近的概率越大。利用像素间的空间相关性和帧间的时间相关性和预测技术，可降低视频序列的码率。基于波形的编码采用预测编码和变化编码组合起来的基于块的混合编码方式。把图像分成固定大小的块，然后对块进行压缩编码处理。当包含边界的块属于不同物体时，他们具有不同的运动，不能用同一个运动矢量表示该边界块的运动状态。基于内容的编码：先把视频帧分为对应不同物体的区域，最简单情况下，而为轮廓描述物体的形状，运动矢量描述运动的状态，纹理用颜色波形来描述，然后编码。

MPEG-4采用的编码方式是基于块和基于内容的编码方式。

2.预测编码

压缩编码后传输的并不是像素本身的取样幅值，而是该取样的预测值和实际值之差。

3.变换编码

平坦区域和内容缓慢变化区域占图像的大部分，细节和内容突变的区域占小部分。空间域的图像变换到频域会产生很小的一些变化系数，对其进行压缩编码就是变换编码。