H264编码原理（二）帧内预测

假设你去了一家餐厅吃饭，这家餐厅提供了一个有趣的点餐方式。服务员会根据餐厅最近最受欢迎的菜品组合，推荐九个套餐给你。你的任务是从这九个套餐中找到一个最接近你心中想要的菜品组合的套餐，然后告诉服务员你想替换哪些菜，以得到你理想中的一餐。

通过这种点餐方式，你可以迅速找到与你所想菜品最接近的套餐，只需做少量的调整就能得到满意的组合。

类似地，在H.264编码中，编码器选择一个最合适的预测模式，通过少量的调整（即编码误差）得到最终的编码块，从而实现高效的压缩。

宏块（MacroBlock）

宏块，英文Macroblock，是视频编码技术中的一个基本概念。通过将画面分成一个个大小不同的块来来不同位置实行不同的压缩策略。
在视频编码中，一个编码图像通常划分成若干宏块组成，一个宏块由一个亮度像素块和附加的两个色度像素块组成。一般来说，亮度块为16x16大小的像素块，而两个色度图像像素块的大小依据其图像的采样格式而定，如：对于YUV420采样图像，色度块为8x8大小的像素块。

根据画面的复杂情况，宏块还可以被划分为若干子宏块。比如16X16还可以划分为16个4X4的宏块
每个图像中，若干宏块被排列成片（slice）的形式，视频编码算法以宏块为单位，逐个宏块进行编码，组织成连续的视频码流。

帧内预测

如果一个块或宏块在帧内模式下编码，那么预测块P是基于之前编码并重建（但未滤波）的块形成的。

最终编码的内容是 预测块P和当前块的残差值。

所以本文主要内容是如何产生预测块P。

对于亮度（luma）样本，P 可以为每个4x4子块或16x16宏块形成。对于每个4x4亮度块，总共有9种可选预测模式；对于16x16亮度块，有4种可选模式；色度块也有4 种预测模式，类似于16×16 亮度块预测模式。

4x4亮度预测模式

对于4*4的亮度预测模式

左图中A～Q是预测时可能依赖的数据，a～p是需要预测的数据区域。
右图形象的表示了8种预测模式（0～8）不包括2，2是DC模式，参考了所有方向的像素。

下图是对9种预测模式的细化

模式编号	模式名称	基本计算说明
0	垂直预测 (Vertical)	来自上方相邻块的像素值。
1	水平预测 (Horizontal)	来自左方相邻块的像素值。
2	DC预测 (DC)	上方和左方相邻像素值的平均值。
3	斜下预测 (Diagonal Down-Left)	根据斜下方向相邻块的像素值。
4	斜上预测 (Diagonal Down-Right)	根据斜上方向相邻块的像素值。
5	垂直左预测 (Vertical-Left)	根据略微偏左的垂直相邻块的像素值。
6	垂直右预测 (Vertical-Right)	根据略微偏右的垂直相邻块的像素值。
7	水平上预测 (Horizontal-Up)	根据略微偏上的水平相邻块的像素值。
8	水平下预测 (Horizontal-Down)	根据略微偏下的水平相邻块的像素值。

如果需要参考的数据没有怎么办？比如本身在最左边的数据还如何参考左边的？对于这些情况H264协议中都有解决方案，感兴趣可以参考协议文档中的参考实现或者X264的源码。

下面是一个例子，直观展示了9种预测方式产生的预测块是怎样的，同时还给出了The Sum of Absolute Errors (SAE)，SAE表示和原图的差异，SAE越大，和原图的差异越大，我们选择SAE最小的一种模式，作为预测模式。

16X16亮度预测模式

和4X4的预测模式类似，16X16只有4种预测模式，

模式编号	模式名称	计算说明
0	垂直预测 (Vertical)	从块上方的样本进行外推预测。
1	水平预测 (Horizontal)	从块左方的样本进行外推预测。
2	DC预测 (DC)	使用左方和上方块的像素值均值进行预测。
3	平面预测 (Plane)	通过对左方和上方块的样本进行线性拟合，生成一个平滑的平面函数用于预测，适用于亮度平滑变化的区域。

也举个例子，

8X8色图预测模式

每个宏块的8x8色度分量也有四种预测模式，

和16x16亮度预测模式非常相似，唯一的不同在于模式编号的顺序不同：DC（模式0），水平（模式1），垂直（模式2）和平面（模式3）。

同样的预测模式总是应用于两个色度块。

注意：如果亮度分量中的任何8x8块是以帧内模式编码的，则两个色度块也都是以帧内模式编码的。

帧内预测如何编码

如果我们为每个4x4的宏块都分配一个帧内预测模式，那就需要大量的比特来存储这些模式信息。为了更高效地进行编码，我们可以利用图像的数据特点，即相邻宏块的预测模式通常很相似。

如下图所示，假设A和B的预测模式都是模式2，那么C的预测模式很有可能也是模式2。

那么我们如何利用这种特性呢？

我们定义一个计算值，称为most_probable_mode，表示最可能的预测模式。注意，这个值是计算出来的，不需要额外的比特来存储。

具体来说，如果A和B都是4x4的块，并且A、B、C位于同一个slice中（因为slice之间是相互独立的，不会互相参考），most_probable_mode的计算方式如下：

• most_probable_mode = min(ModeA, ModeB) 否则，most_probable_mode = 2.

每个4x4的块会有一个flag，称为use_most_probable_mode。

• 如果use_most_probable_mode = 1，预测模式就是most_probable_mode。

• 如果use_most_probable_mode = 0，就需要分配一个remaining_mode_selector。

然后根据以下规则确定最终的预测模式：

• 如果remaining_mode_selector < most_probable_mode，预测模式 = remaining_mode_selector。

• 否则，预测模式 = remaining_mode_selector + 1。

这样设计的原因是为了减少表示预测模式所需的比特数。因为预测模式有9种，如果直接编码需要用4个bit（2^4 = 16），而上面的方法可以用3个bit表示9种预测模式。

通过利用most_probable_mode，我们可以更有效地压缩预测模式，从而提高编码效率，同时减少所需的比特数。

引用

H.264 / MPEG-4 Part 10 White Paper