学术界AV1编码优化技术的进展

# Editorial Note #

学术界的一些优化工作实涵盖了编码过程的大部分模块。很 明显的趋势就是许多深度学习的网络或者方法已经开始与编码的模块进行结合，并取得了很多不错的收益。本文将按照编码过程的大致顺序分享学术界AV1编码优化技术的进展。

文 / 朱辰

整理 / LiveVideoStack

各位专家以及屏幕前的各位观众大家好！我是朱辰，目前是上海交通大学图像所的在读博士生。本次分享的主题是学术界AV1编码优化技术的进展。

AV1编码标准

首先介绍一下AV1编码标准。AV1是由开放媒体联盟AOM阵营提出的面向互联网流媒体的开发编码标准开放编码标准。AOM是由谷歌主导，并且吸纳了很多ICT领域的大厂加入，例如我们国内的腾讯还有爱奇艺都是联盟成员。AOM建立的初衷是想解决专利问题，形成一些免费开源的编码方案，同时性能超过HEVC。

AV1核心编码工具

此处是对AV1新增的一些核心编码工具进行了一些整理总结。首先，最大的编码单元目前已经扩展到了128×128的大小；同时划分模式是支持2等分和4等分。帧内预测方面，除了扩展了方向性的预测模式以外，还添加了比如交叉分量、递归滤波的预测模式。帧间预测方面是最多支持7个参考帧，同时支持仿射运动轨迹，混合预测模式等。变换是支持包含DCT在内的4种模式。熵编码使用的是一种多符号的上下文字适应的算术码。环路滤波共支持区块滤波，方向增强滤波，还有修复滤波，总共三种算子。最后特别的对于屏幕内容编码，还涉及了一些例如调色板，块匹配等技术。

AV1编解码器

AV1在生态建设方面步伐非常快，现在可以看到已有三款开源的编码器和一款开源的解码器。另外我们也已经看到已经有三款商用的AV1编码器。对于AV1性能，相比于HEVC标准下的x265， AV1的前身VP9，大概有20~30%的增益。在商业应用方面，从去年开始AV1已经开始有规模在一些比如浏览器端、安卓客户端、OTT以及智能电视设备上得到支持和使用。

AV1优化技术工作

接下来是对AV1上的一些优化技术和优化工作进行一些介绍。因为现在我们的市场上的视频应用种类是非常多的，例如点播、直播，互动类的场景。对于不同类的应用，实际上对编码的需求也有一定差异。

对于AV1定稿的编码标准而言，往往没有办法同时满足这样多方面的需求的。所以对标准编码器还会衍生出很多方面的优化，含R-D性能、复杂度、延迟，一些硬件实现上的优化。对此整理了AV1定稿以后近两三年在学术界或者说以论文形式发表的优化工作，发现目前主要就是集中在性能和复杂度优化方面。上图中列出了优化方法的编码模块，实际上也可以看到其中的大部分编码过程中的大部分模块都已经有相应的优化路径。

此次分享会按照编码过程的大致顺序，对各类工作进行一些介绍。

#1. 性能优化方面

1.1 帧内预测的优化

首先是性能优化方面的工作。其中首先是帧内预测的优化工作。AV1本身是有56个方向性模式，5个非方向的帧内模式。这个工作的出发点是发现相邻块的选择的帧内模式往往是相同的或者是相近的，但目前的AV1里面还没有应用到相邻块的模式信息。此外，AV1帧内预测本身只用了一个相邻的参考线中的中间块作为参考，但当对于一些像纹理图案这种相邻样本变化比较大的区域的时，如还是使用单一的参考线，可能会导致残差较大、预测误差较大的现象。所以针对这两点，工作提出了自适应预测角度，非相邻的参考线两种方法。

1.1.1 自适应预测角度

自适应预测角度，首先要做的是改变候选角度的一个粒度。意思是说根据刚刚说的相邻块的模式，往往会被当前块选中。上图中间图中所示，对于相邻块方向的候选角度仍然保持一个细粒度。

其他方向的候选角度，可以用一个粗粒度去进行选择。在此基础上它提出了一个叫做“Allowed”，叫做允许的帧内