视频编解码基础

1.编码的必要性

      目前的视频捕获设备应用时，获得的数据量非常大。因此，为了节约存储空间，降低传输宽带占用，一般都要做编码处理。在不影响图像的客观信息表达的前提下，一般采用有损编码。图像的局部空间在一定意义上是光滑连续的，同时，图像帧间除了目标运动或者少许的光照变化之外，帧间的大部分残差很小，而且人眼对亮度比色度更敏感。上述的因素促使了视频编码的成功。

      视频图像是立体场景的二维空间数据记录，在空间上是局部连续的、光滑的，而在时间上是运动持续的，连贯的。空间中的区域一致性或局部连续性允许采用少量的主信息来表达其他信息，即预测编码；时间上的运动渐变性允许帧间残差表示目标位移。因此说视频图像在空间和时间上是相关的、冗余的，编码压缩就是利用相关性去除冗余，保留图像的主要信息。

2.编码压缩原理

      当前大部分编码算法，工作机制均是混合编码，处理模块包含预测、运动估计、变换、量化和熵编码等。不同的视频算法是各模块的不同实现方法，工作原理大同小异。总体来看，图像帧的编码模式主要有帧内和帧间两种方式。帧内编码包括预测、变换、量化和熵编码等，帧间编码包括运动估计、运动补偿、变换、量化和熵编码等。帧内预测和帧间运动估计统称预测编码。

      预测编码是视频编码中最主要的方法。图像的当前像素点与帧内相邻的上、下、左、右等位置的像素点相比，灰度变化很小，相关性极强，图像存在空间冗余。视频帧是活动的图像序列，每秒含有多帧图像，当前图像点与前后帧的对应位置或者附近的像素点非常相似，相关性很强，存在时间冗余。预测编码就是减少上述的空间冗余和时间冗余，分别对应帧内编码和帧间编码。

      压缩的原理图：

 

      帧内预测编码：

      帧内预测编码是对图像数据本身做编码，由于空间像素值不会突变，则我们在处理当前图像块时，可以以先前已编解码的图像作为参考，则参考的零值或较小的值会很多，起到了压缩编码的目的。帧内编码的