视频编解码简介 - 编码流程详解

视频编解码原理

为什么需要编码？

原始视频数据很庞大，比如一个150分钟，30FPS，分辨率为720✖480的彩色电影需要占用280GB。无论是物理存储还是网络传输，这都是难以负担的。所以需要编码进行压缩。

编码方式

一般有两种编码方式：熵编码（entropy coding，以无损的方式将视频压缩到香农极限）和有损编码（lossy coding，删除冗余数据和不重要的数据）。熵编码的压缩率是有限的，但是得益于人类的视觉系统可以容忍细节丢失，有损压缩通常很有效。

典型的编解码码流程

下图展示了编解码的整体流程。
摄像头采集到数据，进行编码，传输或者保存编码后的数据，终端拿到数据后进行解码并显示。

下图展示了一个典型的编码流程：

一个典型的视频编码一般由三个模块组成：

1. 预测性编码（Predictive coding）
2. 转换编码（Transform coding）
3. 熵编码（Entropy coding）

通常编码一个视频会产生若干完整的帧数据和增量帧数据。
完整帧只需要通过转换编码和熵编码进行压缩。本文主要考虑增量帧的编解码。

预测性编码

预测性编码通过利用时间（帧间预测）和空间冗余（帧内预测）来减少视频的冗余度。
通常预测性编码有两步：运动估计（Motion estimation, ME）和运动补偿（Motion compensation, MC）

• 运动估计为当前帧的某个区域(A)在参考帧中寻找一个合适的匹配区域(B)。（参考帧可以是之前的帧，也可以是后面的帧）
  
• 运动补偿找到区域A和区域B的不同
  
  通过ME和MC预测性编码会产生一些运动矢量和残差。运动矢量就是某些区域针对参考帧的运动轨迹，而残差就是这些区域运动后产生的预测帧和当前帧之间的不同。举个不太恰当的例子：（不恰当的地方在于真实的编码中运动矢量涉及的区域不会这么大，比如H.264编码的最大区域为16✖16）
  下象棋时，开局时为参考帧，炮二平五后为当前帧，如图：