编解码 - 帧内预测过程剖解

帧内编码指的就是像预测、变换等压缩操作所使用的数据是来自本帧内，非其它视频流中的帧。下面详细讲解预测过程：

1、寻找最佳预测像素集合（帧内预测的目标）

使用已经编码或者重建好的相邻块来作为参考源，主要指的就是top或者left部分块（参考的是光栅扫描顺序），用以上参考块来预测当前的块，之所以用相邻块是因为跟当前块的相似度最高，相识度高意味着冗余度高，冗余度高意味着压缩率好。常用的预测模式：水平、垂直、对角线和其它角度方向，如下图所示：

2、生成残余值

就是预测块和当前块的差值，如上图所示，不同预测模式，生成的残余矩阵各不同。

那么问题来了：如何选择最佳预测模式？答案就是残余值得最小绝对差和（残余，即min_SAP，如上图所示，垂直方向的SAP为1，故为最优预测模式，相对其它两个（3和7）。

3、编码标准的预测模式

H.264：16x16中的4x4或者8x8子块可以选9中预测模式其中一种，还为16x16亮度块提供一种模式。

VP9：定义10种预测模式（针对4x4块）。

H.265：扩展到35种预测模式，针对编码树单元（CTU）中的4x4到32x32子块。如下图所示：

4、发送预测模式和残余值

每一个帧内预测的块的预测模式和残余值会作为编码流的一部分发送，编码器会参考解码的像素和预测模式来生成预测像素，然后加上残余值来生成当前块的最后像素。