从这一篇开始,我们详细的讲解H.264/AVC 比特码流的句法和语义,可以说,能够学习并掌握H.264的句法和语义,是能彻底掌握并应用H.264的关键。在前面几篇文章中,我们只是从理论层面,介绍了H.264、片、宏块、帧内预测、帧间预测。而在句法和语义中,我们就可以拿到H.264编码之后的裸流,用理论加实践的方式,一步步探索H.264的编解码实现过程。
而在这篇文章里呢,我们就先从宏观的角度,来看看使用H.264编码之后,得到的裸流的分层结构是什么样的。不过在开始之前,我们先从最基本的开始,来看看句法和语义,这两个词,分别代表什么意思?
1. 句法和语义
我们可以拿我们每天说的语言来举例,比如以英语为例写个句子:
It is a beautiful day today.
恩,学过英文的都知道它表达什么意思,但是我们的重点不是这个。我们的重点是,如何用它来理解什么是句法和语义。首先我们对这个句子进行分析,它由六个单词组成,每个单词分别代表了一个意思,这是学习过英语的人的表达。假设我们没学过英语,我们会这么说,这个句子由六部分(或者六个元素)组成,每个元素有一个含义。
所以句法和语义分别是指什么呢?如果我不这样问,而是问句法元素和语义是指什么呢?你可能会恍然大悟。没错,句法元素在上面的英文句子里,可以理解为一个个单词,而语义就表示单词的含义。理解了句法元素和语义,再去理解句法就更简单啦,它就表示了句法元素的组织结构。
那这和H.264的句法和语义有什么关系呢?当然有关系!
首先我们要明白,上面那个英文句子,是我们人能够理解的人类语言。而H.264的比特流,是计算机能理解的二进制语言(可能使用机器语言能更好明白,但是机器语言现在一般指指令集体系)。所以归根结底,它们都属于一种语言,只不过表达的意思不同而已。
比如上面那个英文句子,它表达的意思是今天的天气真美好!而H.264的比特流,比如101111000101011111000(当然是瞎写的),它可能就在表达图像的宽或高、片的个数、宏块的大小、样点像素值等等。
当然具体在表达什么,我们需要学习了H.264的句法和语义之后才知道,所以学习H.264的句法和语义,其实就相当于在英语里背单词和学习英语语法。只不过H.264的语法和英语的语法不一样,我们需要学习了之后才知道。
要注意虽然我们可以把H.264的句法理解为语法,并且它的英文也确实为Syntax,表示语法、句法的意思。但是我们在H.264里还是通常用句法这一词,这是因为写过代码的都知道,在编程语言中也有各种语法,在H.264的比特流的编解码中,也会涉及到一系列编程语法。
所以为了避免歧义,我们在H.264里,分别使用句法,来表示句法元素的组织结构。用语法,来表示编程语言语法。
2. 句法元素分层结构
理解了句法和语义之后,我们就来看看H.264比特流的分层结构,这是开始学习H.264句法的第一步。我们的标题,分别使用句法元素和比特流这两个词,来描述分层结构,是因为我们可以站在两个维度来分析H.264的比特流。
在这一小节中,我们先站在句法元素的角度,来分析一下它的分层结构。
为什么可以站在句法元素的角度来分析?
我们通过第一小节知道,在H.264的比特码流中,分析单个的比特是没有意义的,只有分析由比特组成的句法元素,并且了解其语义,才能知道这段比特流表达了什么。所以我们可以简单的视为,码流就是由一个个句法元素依次衔接组成的。只要理解了这一层关系,那么接下来的工作就简单多了!
我们都知道(MPEG-1、2也讲过),视频是由视频序列组成的,而视频序列又由一帧帧图像组成,图像又由片组成,片由宏块组成,宏块由子宏块组成。
既然一段码流,由多个句法元素组成,那这段码流表示了什么呢?它是表示了一个序列,还是一帧图像,还是片、宏块或子宏块?这就要涉及到这一小节的标题了,也就是句法元素的分层结构。在讲H.264的句法元素分层结构之前,我们先看看之前标准的分层结构。
2.1 以往标准句法元素的分层结构
以往标准中的分层结构
上图就是在之前标准中的分层结构,可以看到句法元素同画面的划分一样,被组织成了有层次的结构,这种结构有助于更高效的节省码流。但是这样的结构,有几个很大的缺点:
(1)在每一层中,数据和它的头部,形成强依赖关系,一旦头部丢失,数据部分也不可能正确被解码。
(2)在序列层及图像层,因为数据量过大,不可能将所有的句法元素一次传输,这时假如头部所在的分组丢失,那么该层其他的数据,即使能正确接收也无法解码。
(3)图像层内的各个片之间,经常会携带相同的数据,造成码流的浪费。
所以在此基础上,H.264取消了图像层和序列层,取而代之的,将原本属于图像层和序列层的大部分句法元素,抽取出来形成图像参数集和序列参数集,其余的部分,则放入片层。
2.2 H.264的句法元素的分层结构
下图为H.264图像参数集和序列参数集,与片中句法元素的关系:
H.264参数集与片中句法元素的关系
从图中可以看到,同一个序列参数集可以被多个序列中的图像参数集引用,同一个图像参数集也可以被多个图像引用。所以我们在打开H.264码流文件时会看到,序列参数集和图像参数集位于码流的最前面。如果编码器认为需要更新参数集时,会发送新的参数集。
在这种引用关系中,被引用方在时间上必须先被发送,所以在H.264建议中,参数集和参数集外部的句法元素,分别处于不同的信道中传输。
除了在参数上的改进,H.264在片层以下的句法元素上的结构,和之前的标准类似。而且因为取消了图像层,片成为携带图像像素数据的,最上层的数据单位。并且每个片必须携带所属的图像的编号、大小等信息,这些信息在同一个图像的每个片中必须是一致的。
以上就是H.264的句法元素的分层结构,它分别为序列、图像、片、宏块、子宏块这5个层次。
当然有的同学一下并不能完全理解,句法元素的分层结构是指什么,那是因为要想完全理解,还要结合之后要讲的NALU,以及序列、图像、片、宏块、子宏块这些层次,具体包含哪些句法元素,以及句法元素的语义是什么。而在这里,我们可以先简单的理解为,图像引用序列,片引用图像,同时片包含宏块,宏块包含子宏块。
3. 关于H.264的协议文档
H.264一直在更新,英语底子好的同学,可以直接根据下面的链接,去ITU的官网上下载最新版。
http://www.itu.int/rec/T-REC-H.264
当然即使英语好,也不一定能看懂文档在讲啥,因为有好多专业词汇。所以我们可以下载个中文版,但是最新的17版没有中文版,我们下个05版的中文版就足够了。撸一遍05的中文版后,再撸一遍最新的英文版就轻松多了
http://www.itu.int/rec/T-REC-H.264-200503-S/en