H.266/VVC 中的 AI/RA/LD

翻译自提案 JVET-U2002-v1

有参考：

H.266/VVC的关键编码技术（五）：AI, RA, LD三种编码结构

广义B帧GPB

 

在 JVET-T2010 提案中提出的 JVET 通用测试条件下，根据参考图片管理方式不同，VTM 提供了三种关键预测结构的配置，分别为：

intra-only AI / random access RA / low delay LD

 

all intra, AI （Intra-only）

对于 intra-only （也叫做 all intra，缩写为 AI）编码，视频流中的每副图像都被编码为 IDR 帧，即无需其他参考可以自身独立编码的帧。对于所有图像在配置文件里使用一个指定的 QP。

 

Random access, RA

在 H.266 标准文本 中对 random access 的释义为 “不从码流的起始点开始解码的行为”。也就是说 RA 不是按顺序解码的，且 RA 的性能是三种配置中最高的，使用了循环GOP结构，处于GOP中相同位置的编码帧采用相同的参考帧和量化参数。

random access 即 RA 配置下，编码使用 HB （hierarchical B）结构，低层的（图片 61 上方的）不能参考高层的（图 61 下方的）编码，图 61 展示了编码和显示的顺序。

一些专有名词缩写解释如下

POC：Picture Order Count，显示顺序        POC计算

EOC：Encoding Order Count，编码顺序

 

RPS：Reference Pictuer set，参考图片集

PPS：Picture Parameter Set，图片参数集，一种语法结构，包含应用于零个或多个完整编码图片的语法元素，由每个图片标题中的语法元素确定，包含一副图片的参数信息。

SPS：Sequence Parameter Set，序列参数集，一种语法结构，包含应用于0个或多个完整CLVSs的语法元素，这些语法元素由每个图片标头中找到的语法元素引用的PPS中的语法元素的内容决定，包含一幅或多幅图片的参数信息。

VPS：Video Parameter Set，视频参数集，包含一个视频的参数信息。

CVS：Coded Video Sequence，已编码视频序列

简单来说，压缩视频码流的基本单元为AU（Access Unit，接入单元），AU包括多个NALU（network abstraction layer (NAL) unit）。

以上几个参数集的详细定义与关系

 

RA 配置下，根据 IntraPeriod （即两个 I 帧之间的间隔）以及视频帧率，约每一秒编码一个 I 帧。连续 I 帧中的图片默认编为 B 帧。

RA 配置定义了不同 B 帧之间的层次结构，时域 id 小的图片在图 61 的上方显示，常作为其他帧的帧间参考。图 61 中的箭头描绘了一个 GOP 中的图片的帧间参考关系。为了不把图 61 画的太乱看不清，只对 GOP 中的部分帧（而非所有帧）做了这种箭头的帧间参考关系描绘。

在 VVC 中，对图像缓冲区做了限制，以确保 DPB （decoded picutre buffer，解码图片缓冲区，DPB详解）中同时最多有 8 个帧（包括正在解码的和已解码待输出的图像）。

图 61 中，时域 id 为 0 的图片（常被称为 Generalized B picuter，GBP，广义 B 帧，可给其他帧作参考的 B 帧）在 HB 结构的最低层，给其他帧用作帧间参考。

这个 HB 结构的第二三四层包括其他参考 B 帧，其中最高层只包括非参考 B 帧（因为没有更高层的需要参考它编码）。

B 帧和 P 帧有两个参考列表，一个存放 POC 小的参考帧的列表即前向参考列表 L0，一个后向参考列表 L1。

GPB 有两个相同的参考帧列表，每个参考帧列表 4 张图片。一般 B 帧有两个参考列表，每个参考列表 2 张图片。

每帧图片的 QP 在其参考帧的 QP 的基础上加一点。图片在 HB 结构中所处的层数越高，加上的 QP 就越多。

 

Low Delay, LD

LD 配置下有 LDP （low delay P）和 LDB（low delay B）两种。低时延配置下， POC 大的帧只能参考 POC 小的帧，这样就不用等那么多缓冲。只有第一帧是 I 帧，其他要是 P 要么是 B。

LD 配置图示如下，图中颜色相同的图片的 QP 偏移是相同的。

LDB配置下，和B帧一样，GPB也需要两个参考图像，但是其参考图像都来自前面（即参考图像POC小于当前图像POC）。且GPB的两个参考图像列表也是完全一样，即对于任意索引n：ref_list0[n] == ref_list1[n]。但是GPB的两个参考帧却不必相同，它们可以来自两个参考列表的不同位置。注意：RA 中也可以有GPB帧。