H.264/AVC 的分层结构与画面划分

上篇我们对H.264/AVC做了简单的介绍，尤其是它的主要改进方面。在接下来的几篇中，我们会由浅入深，一步一步来探索H.264。在讲解顺序方面，我参考了毕厚杰的《新一代视频压缩编码标准》。先从H.264标准的编码方法入手，这包括它的分层结构、画面划分、帧内和帧间编码方式、整数变换和量化、CAVLC和CABAC，然后再从H.264码流的角度，来分析它的句法和语义。

当然这里并不会全部介绍，毕竟不是写论文或者出书。我在写的时候，会尽力从新手的角度出发，化繁就简，一些难点或者我现在也没理解的点，只一笔带过。也许以后经验丰富了，会就某个点，回过头来重新研究，那时再写也不迟。

那么在本篇里，我们就从H.264/AVC的分层结构以及画面的划分开始。之所以从这两个点开始，是因为这是和MPEG-2、MPEG-1不同的地方。我们上篇说H.264做了几点重要的改进，比如预测图块可以小到4x4像素，而这一点改进，就是建立在H.264的分层结构和画面划分之上的。

1、H.264/AVC的分层结构

看到这里的分层结构，有的同学可能会想到之前讲解的，MPEG-1和MPEG-2的数据位流的结构。比如MPEG-2的数据位流结构（允许我直接放图，这样比较一目了然）：

MPEG-2视像数据位流的结构

注意这是MPEG-2的数据位流分层结构，重点是MPEG-2和数据位流。我们在本篇开篇的时候说，H.264码流的句法和语义，会放在最后讲，所以这里要讲的H.264/AVC的分层结构，并不是指H.264的比特流结构。

那这里的分层结构指的是什么呢？其实就是H.264分层处理数据的结构，H.264区别于之前的标准，将视频压缩标准，分成了两个层次：

• （1）视像编码层（Video Coding Layer， 简称VCL），用于有效的表达视像内容，主要负责数据编码。
• （2）网络抽象层（Network Abstraction Layer，简称NAL），用于按照一定格式，对视像编码层输出的数据进行打包和封装，并提供包头（header）等信息，以在不同速率的网络上传输或进行存储。

这两个层次，完成了从RGB/YUV像素数据输入，到编码并输出适应不同速率网络的H264码流的过程。

H.264/AVC的分层结构

虽然我们说，这里只是对H.264标准数据处理流程的分层，但它确确实实影响到了H264比特流的分层结构。比如上面说的，NAL的作用是对编码层输出的二进制数据进行打包，并提供包头信息，然后输出H264码流。所以H264的码流结构为：

NALU序列

当然上图只是NAL的单元（Unit）序列，简称NALU序列，一个NALU为NAL头 + RBSP组成。而这里把NALU序列说成是H264码流，是为了说明，H264码流的组成部分，就是一个个NALU。但是实际上的H264码流还需在NALU序列上，加上起始码。

说了这一段，是为了说明H264的比特流结构，和H264的分层结构，确实联系紧密。而H264的比特流结构，我们先点到为止，等到后面讲比特流的句法时，再详细介绍。下面我们开始介绍H264的画面划分，和它的分层结构一样，了解画面划分，对之后理解它的比特流结构，也很有帮助。

2、H.264/AVC画面划分

与MPEG-2和MPEG-1不同的是，H.264/AVC把一帧画面当做一片像片（slice），或分割成若干个像片来表示。如：

标准的H.264像片

有的同学一看，这和之前的MPEG-2不是差不多嘛，在MPEG-2和MPEG-1里，每帧图像分成许多像片，每个像片由16行组成。对比H.264，感觉H.264除了多了两行，还拐了个弯，好像没啥变化。

恩，首先说，这种感觉是对的。其次，有这种感觉，是因为还有一个重要的知识点没讲，那就是FMO。

FMO（Flexible Macroblock Ordering，灵活宏块次序）

要详细的了解FMO，还得从图像的扫描方式说起。我们都知道，图像扫描的顺序，是从左上角，一行行扫到右下角。而一帧图片由单个或多个像片组成，每个像片（slice）包含了一系列的宏块（MB），这些宏块的处理顺序，和扫描顺序一致，也即像片中的所有MB，均按照光栅扫描的次序被编码。

这样一来，在解码的时候，就得等待所有的片都接收到，并且按照扫描的顺序排好后，才能进行解码。这样一来，解码端是很受限制的，而当使用了任意像片次序（Arbitrary slice ordering，ASO）之后，就能够以数据接收的顺序进行解码。

而FMO呢，则是建立在ASO之上，所以它不仅有任意像片次序的功能，还在这个基础上，增加了像片分组的功能。而像片分组这个功能，不仅是FMO，也是H.264的一大重点。

那什么是像片分组（简称：片组）呢？

片组，其实就是使用某一规则，将一帧画面中的某些宏块划分成一个组，也即片组。这个过程也就是宏块（MB）到片组的映射，而像片（slice）呢，则是在片组内，对宏块做进一步划分。

比如上面我们说一帧画面，由一个或多个像片组成，其实这是不严谨的。严格点来说，一帧画面，是由一个或多个“片组”组成，而“片组”，是由一个或多个“像片”组成，“像片”则由宏块组成。

上面说的一帧画面，由一个或多个“像片”组成，其实这是不使用FMO的情况，这个时候，默认只有一个“片组”。也就是一帧画面，由一个“片组”组成，而“片组”由一个或多个“像片”组成。这就是上图显示的，标准的H.264像片。

这是不使用FMO的情况，那使用了FMO的图像像片是怎样的呢？

当使用FMO时，图像根据不同宏块需要的扫描方式的不同，划分成多个片组，这样一来，不同片组的扫描方向和顺序互不影响。H.264规定了6种典型的分组模式，也即宏块到片组的映射规则，这几种模式使用 slice_group_map_type 来指定，数值分别为0~5，如果设置为6则需要自定义映射规则。不过具体slice_group_map_type在哪个地方设置，则是后面比特流句法部分的内容。

下面就是FMO规定的几种分组模式：

下图是表中的配图：

FMO规定的片组

从规则1到规则5，在维基百科上有几张彩图：