AV1的Up Scaler(Super-resolution)过程介绍

AV1的Up Scaler(Super-resolution)过程介绍

    AV1的Super-resolution(superres)技术允许encoder对任意一帧输入图像的水平分辨率降低至多1/2(downsampling)。这种动态分辨率改变能力为Codec的压缩能力和质量开辟了一个新的方向，这是之前任何带有硬件解码支持的Codec标准都没有提出过的一项新的编解码技术。

Downsampling技术发展现状

• 将Downsampling/Upsampling作为前处理技术，独立于Codec技术之外。该方式以一个segment或shot（以key-frame或IDR-frame开始的一段视频序列，称为shot）为一个单元，每个单元的码率和分辨率可以不同。显示端侧再根据当前显示窗口的分辨率重新缩放显示。这种策略的好处是保证了编解码端的位流一致性，几乎所有的流媒体服务商都采用此策略，如YouTube，Netflix；难点在于决定每个segment的最佳downsampling方式，以及采用什么样的滤波器来进行downscale。然而，这一系列的论文都要求Codec中的运动补偿部分(Motion Compensated Prediction Loop)中的reference frame 和 coded frame有相同的分辨率。
• 第二种方式更灵活，允许一个shot中的某些inter frame以低分辨率进行编码然而ref frame是高分辨率。这种方式采用多分辨率的编码框架，对于high-resolution（HR）frame进行编码，但要以low-resolution(LR)进行重建，为LR frame做参考；LR frame以LR进行编码，但要以HR方式重建。

    AV1的superres技术和上述方式都不同，具体有以下的特征：

• AV1的MC过程支持跨scale；
• AV1的任意帧都可以进行superres而不需要key-frame；
• AV1的reference frame分辨率可以和coded frame不同，MC过程会处理分辨率上的差异。

Superres在编解码器中的位置

Superres的技术细节介绍

• AV1解码器在Upscale模式下支持水平放大的倍数有9个选项，为d/8，d∈[8,16];这也意味着编码器在downscale过程中缩放的比例为8/d；
• 每行Upscale过程的像素内插是通过1/16pixel精度，线性8抽头滤波器来实现的；
• 每个内插像素的步进step size=(coded width w / output width W);

     step size是需要重点关注的技术细节，因为精度问题，实际上大多数情况下，step size≠8/d，随着滤波插值进行到行尾，step的误差累积会越来越大，导致插值结果不准确。为了降低这种情况的后果，AV1将step size的精度扩展到1/16384pixel。

• 若low resolution image的最左侧pixel坐标为0，那么upscale后的最左侧内插pixel坐标为：
  

Superres在解码器中的实现过程

1. 从码流中获取Spuerres_enable和缩放倍数Denomitor(d),计算得到downscaled width和upscaled
   width;
2. 计算步进stepX：

stepX = ((downscaledPlaneW << SUPERRES_SCALE_BITS) + (upscaledPlaneW / 2)) / upscaledPlaneW

3. 计算Maximum error accumulation最大累积误差，err:

err = (upscaledPlaneW * stepX) - (downscaledPlaneW << SUPERRES_SCALE_BITS)

4. 计算初始偏移，start offset:

initialSubpelX =(-((upscaledPlaneW - downscaledPlaneW) << (SUPERRES_SCALE_BITS - 1)) + upscaledPlaneW / 2) /upscaledPlaneW +(1 << (SUPERRES_EXTRA_BITS - 1)) - err / 2
initialSubpelX &= SUPERRES_SCALE_MASK

5. 开始8抽头滤波.

总结

     AV1的Superres技术原理相对简单，就是一个水平方向上放大和缩小的技术，学习这部分过程中，有三方面内容需要搞清楚：从哪里开始插值、插值步进决策、插值精度。尤其是精度问题，在spec中杂糅了很多移位扩展精度的操作。

参考文献

1. In-loop Frame Super-resolution in AV1. Urvang Joshi, Debargha Mukherjee, Yue Chen
2. AV1 spec