AVS2解码图像管理

前言

对于解码器来说，解码得到的重建图像可能需要参与参考帧选择过程和输出排序过程。硬件解码器大概率不会将解码图像的相关操作硬件化，从而将此部分内容保留在软件端实现。
驱动工程师需要明确解码图像的管理逻辑，才能开发出硬件解码器的驱动程序。
AVS2的解码图像管理与H264、H265、AV1等编码标准有相似之处，也有不同之处。AVS2依然有输出排序、参考队列构建、图像的标记与输出、图像缓存区的移入移出等操作，但具体实现方式略有不同。

图像类型

与H264一样，AVS2的解码图像可以是一帧，也可以是一场。除了传统的I、P、B图像外，另外还新增了F、G、GB、S图像。F图像在此文章中介绍的过程中与P帧并无差别，可以看成是P图像；G和GB图像与I图像有所差别，会影响图像的标记与输出过程和缓存区的移入移出过程，因此需要注意。S图像的参考帧只有一帧，要么G图像要么GB图像，S图像的参考队列构建也与其他图像不同。

参考模式

AVS2有三种典型的参考模式：GOP=4有两种，GOP=8有一种。与H264不同的是B帧也可以被参考，具体参考模式如下图：

此图是从官网截图来的，详情请看：AVS2官网
图中的参考关系不包含场景图像，可以看到每个B帧的参考帧的个数都是两个，但参考关系不相同，这直接导致图像标记与输出过程和参考队列构建的差异。

显示顺序号和解码顺序号

一个解码图像同时拥有显示顺序号和解码顺序号，AVS2中叫解码顺序索引（DOI）和显示顺序索引（POI）。这两个顺序号的关系由两个重要变量维系：

• 图像输出延时（PictureOutputDelay，简写POD）。
• 输出重排延时（OutputReorderDelay，简写ORD）。

为了传输节省bit，码流只传DOI，POI由COI、POD和ORD计算而来。计算公式：POI=DOI+POD-ORD，下图是一个实际片源的前0-8帧的DOI、POD、ORD、POI的值：

POI会直接影响解码图像的标记过程与输出过程。

图像标记值

图像的标记值可以控制缓存队列的移入和移出过程，也可以控制图像输出过程。
对于输出过程，图像起码要有一个“未输出”标志，表示我已经解码完成，等待显示，还要一个“已输出”标志，表示已经被显示。
对于参考队列构建过程，这个图像会被其他图像参考，就要有一个“被参考”标志，我们需要从这些被标记为“被参考”的图像中构建参考队列，当这个图像不需要被参考了，就需要一个“不被参考”标志来标识。

图像缓存区移入图像

AVS2将图像缓存区分为两部分：参考图像缓存区和场景图像缓存区，上面介绍的G和GB帧就会被放入场景图像缓存区中，这两个缓存区的图像都是参考图像队列构建的来源。
先不讨论场景图像，图像移入缓存区要解决两个问题：

• 要被后面图像参考的图像需要缓存起来，由于一个GOP中根据参考关系解码顺序是严格控制的，所以可以等效为被参考的图像需要缓存起来，如DOI=0的图像，虽然要立刻显示，但是由于被参考，还是需要缓存起来。
• 不被参考的图像如果在某参考图像后显示，也要缓存起来，因为你无法保证图像显示的速度，所以你只能缓存起来保证显示顺序。如上图，如果刚好已经显示到了DOI=3的这帧，那么解码到DOI=5的这帧时，是不用缓存的，可以立刻拿去显示，但如果此时正在显示DOI=4这帧，你必须将它缓存起来。

解决第一问题，使用变量RefByOthers可以搞定；解决第二个问题，POD可以搞定。
操作如下：

• 如果 RefByOthers等于 1 或 POD大于 0，则将其移入参考图像缓冲区。因为RefByOthers不等于1并且POD等于0的情况，表示这个帧刚好是输出过程和解码过程同步的帧，需要立刻输出，如DOI=4的帧，在它之前解码的帧都需要在这帧之后输出，输出过程再快也需要等待这帧解码出来，而一旦解码到这个帧，显示过程就应该立刻输出。
• 如果 RefByOthers等于 1，则将其标记为“被参考”图像。
• 如果 POD大于 0，则将其标记为“未输出”图像。

现在我们考虑场景图像的情况：

• 如果是S帧，也要用上面的普通操作来判断，虽然不需要被参考，但也要考虑输出顺序是不是在某参考帧之后的问题。
• 如果是GB帧，则直接移入场景图像缓存区。
• 如果是G帧，则先移入场景图像缓存区，再进行上面普通的判断过程。

参考队列的构建

其实很简单，给每帧图像附带一个数组，这个数组包含了所需要的参考图像索引值即可，并告附上这个数组的大小，即参考帧个数PicRefNum。如DOI=2的帧，它参考的图像是DOI=0和DOI=1这两帧，这样这个数组就可以是RefArray[PicRefNum]={0,1}。但是这是绝对索引，很耗bit。于是我们就使用相对索引，0=2-2,1=2-1，进而RefArray[PicRefNum]= {2,1}。这个数组里的值我们叫DeltaDoiOfRefPic（DDORP）。
这样我们在上图中加上图像的RefArray和PicRefNum：

上面说过每个B帧的参考帧都是它前后最近的帧，而且参考关系以GOP为单位，你会发现AVS2的这个设计又可以节省一部分bit，你只需要传送一个二维数组RCSArray[RcsNum][PicRefNum]，这个数组包含了上面讲到的RefArray，这样你就可以根据这个RCSArray的一维索引值找到这个RefArray。下一个GOP的RefArray与前面的是一样的，所以我们只需要在一段序列的序列头传一个RCSArray数组，每个图像的图像头传一个RCSArray的一维索引RCSIndex即可，相当节省bit。这里的RCS也就是标准中的ReferenceConfigurationSet。
这样我们就得到一个RCS表和修改后的0-8帧的相关数据。

• RCS：
  其中RemoveNum和RemoveArray用于移出图像缓存区，后面介绍。

• 优化后0-8帧图像相关数据：
  fault表示该图像不需要RCS，-1表示他的RCS的数据不再RCS数组中，在图像头中获取。这提供了图像可以动态修改它的参考关系的机制。

• 考虑场景图像的情况：
  如果当前帧是S帧，其参考图像只有1帧，即场景图像缓存区的图像作为参考帧。
  如果当前帧是P或F帧，且场景图像使能的情况下，则将参考图像队列 RefPicNum-1 位置的图像替换为场景图像缓冲区中的图像。

标记过程

前面讲到参考图像移入图像缓存区时，已经有参考图像标记“被参考”和"未输出"的过程，这里要讲到的是图像不被参考时标记为“不被参考“的过程。
和参考队列构建过程一样的推理，要标记为“不被参考”的图像相对索引被保存在RCS中，所以只需要根据RCSIndex找到对应的RemoveArray和RemoveNum，使用DOI-RemoveArra[i]即可得到要标记的图像索引,其中0<=i<RemoveNum。

图像输出过程

在参考图像缓存区找到POI最小的“未输出“的图像，或者 POD=0（之前说个这个帧是同步帧，不需要缓存并立刻输出）的图像并输出，然后将其标记为”已输出”。

图像缓存区移出图像

在参考图像缓存区找到“不被参考“且”已输出”图像，移出参考图像缓存区。
如果当前帧是G或GB图像，则移出场景图像缓存区的图像。

总结

AVS2的参考帧管理还是很巧妙的，和H265的参考帧管理差不多，比H264的滑动窗标记和MMCO标记过程简单很多，降低代码复杂度，也节省了bit，确实不错。
但是！！！最近看了AV1的参考帧管理，那叫一个巧妙，预知后事如何，请听下回分解。