AV1编码技术分析

AV1，开源视频编码格式，对标专利费昂贵的H.265。它由思科、谷歌、网飞、亚马逊、苹果、Facebook、英特尔、微软、Mozilla等组成的开放媒体联盟（Alliance for Open Media，简称AOMedia）开发。 看了下该作者来自Google，所以还是挺权威的一篇技术总结。现将该论文翻译成中文，供大家一起学习交流之用。 AV1是一种新兴的开源、版权免费的视频压缩格式，由开放媒体联盟(AOMedia)行业联盟于2018年初联合开发并最终定稿。AV1开发的主要目标是在当前的编解码器基础上获得可观的压缩率提升，同时确保解码的复杂性和硬件的实际可行性。本文简要介绍了AV1中的关键编码技术，并与VP9和HEVC进行了初步的压缩性能比较。 一、引言 在过去的十年里，智能设备推动着高分辨率、高质量内容消费的高速增长，使得视频应用在互联网上已经变得无处不在。视频点播和视频通话等服务是消费者主要使用的服务，它们对传输的基础设施提出了严峻的挑战，因此更需要高效的视频压缩技术。另一方面，互联网成功的一个关键因素是它所使用核心技术，例如HTML、web浏览器(Firefox、Chrome等)和操作系统(如Android)，都是开放和可自由实现的。因此，为了创建一个与主流商用视频格式相当的开源视频编码格式，在2013年年中，谷歌推出并部署了VP9视频编解码器。VP9的编码效率与最先进的收费HEVC编解码器相当，同时大大优于最常用的格式H.264及它的前身VP8。 然而，随着对高压缩视频应用需求的增加和多样化，压缩性能的不断提高很快变得迫在眉睫。为此，在2015年底，谷歌成立了开放媒体联盟(AOMedia)，一个由30多家领先的高科技公司共同组成的联盟，致力于下一代开源视频编码格式—AV1。 AV1开发的着重点包括但不限于以下目标:一致的高质量实时视频传输、对各种带宽的智能设备的兼容性、易处理的计算占用空间、对硬件的优化以及对商业和非商业内容的灵活性。编解码器最初使用的是VP9工具和增强功能，然后AOMedia的编解码器、硬件和测试工作组被提出、测试、讨论和迭代产生新的编码工具。到今天为止，AV1代码库已经到了最后的bug修复阶段，并且已经合并了各种新的压缩工具，以及为特定用例设计的高级语法和并行化特性。本文将介绍AV1中的关键编码工具，与同等质量的高性能libvpx VP9编码器相比，AV1的平均比特率降低了近30%。 【学习地址】：FFmpeg/WebRTC/RTMP/NDK/Android音视频流媒体高级开发 【文章福利】： 免费领取更多音视频学习资料包、大厂面试题、技术视频和学习路线图，资料包括（C/C++，Linux，FFmpeg webRTC rtmp hls rtsp ffplay srs 等等）有需要的可以点击1079654574加群领取哦~    二、AV1编码技术 A.编码块划分 VP9的分区树有4种分块方式，从最大的64×64开始，一直到4×4层，对于8×8及以下的分块则有一些额外的限制，如图1的上半部分所示。注意，图中标有为R的分块是递归的，因此R分块可以重复再分块，直到达到最低的4×4级。 AV1不仅将分区树扩展为如图所示的10种结构，还将最大的分块尺寸(在VP9/AV1中称为superblock)增大至128×128。注意，在VP9中并不存在这种的4:1/1:4矩形分块，而这些分块没有一个可以再细分。此外，AV1增加了使用8×8级以下分区的灵活性，在某种意义上，2×2的色度帧间预测现在在某些情况下成为可能。 B.帧内预测 VP9支持10种帧内预测模式，其中8种方向模式，角度45-207度，2个非方向预测模式：DC和true motion ™模式。AV1，潜在的帧内编码进一步探索了不同的方法：方向预测的粒度进一步升级，而非方向性的预测，纳入了梯度和相关性，亮度的一致性和色度信号也得到充分利用，并开发出针对人造视频内容特殊优化的工具。 1）帧内预测方向的增强：为了在