AV1：下一代视频标准—约束定向增强滤波器

本文来自Xiph.org的创始人Christopher Montgomery在Mozilla博客上的分享，他也是Mozilla Daala的贡献者。Christopher Montgomery是多媒体圈的传奇人物，Xiph.org于2000年推出Ogg Vorbis，2013年加入Mozilla，有兴趣的同学可以去Google他的Wiki页面。本文由LiveVideoStack摘译，并由专业的多媒体工程师进行审校。时间仓促，如有错误请在留言中指出。

文 / Christopher Montgomery

译 / 王月美

审校 / hy & Sean Wang

原文： 

https://hacks.mozilla.org/2018/06/av1-next-generation-video-the-constrained-directional-enhancement-filter/

AV1是由开放媒体联盟（AOM）开发的新一代通用视频编解码器。该联盟是使用谷歌的VPx编解码器，思科的Thor编解码器和Mozilla的Xiph.Org的Daala编解码器作为起点来开发新的编解码器。AV1的性能超越了VP9和HEVC，使得其成为下一代编解码器。AV1编解码器拥有开源FOSS许可证，并且永远是免版税的。

作为探索AV1及首次应用于产品化编码器系列文章的第二篇。系列的第一篇则发表于Xiph.org网站，研究了从亮度特征预测色度的技术。今天，我们将介绍约束定向增强滤波器技术。如果你一直想知道为什么要编写一个编解码器，那么请正襟危坐，仔细阅读！

AV1中的滤波操作

实际上，所有的视频编解码器都使用增强滤波器来改善主观输出质量。

“增强滤波器”是指不需要编码图像信息或提高客观编码效率，而是使输出在某种程度上看起来更好的技术。增强滤波器的使用必须非常小心，因为它们往往会丢失一部分信息。因此它们偶尔会被视为欺骗性作弊，以使得输出质量看起来比实际更好。

但这是不公平的。增强滤波器旨在减轻或消除客观指标盲目的，但对人眼来说是显而易见的特定伪像。因此，即使滤波是作弊的一种形式，一个好的视频编解码器也需要它可以利用所有的实用有效的作弊手段。

滤波器可分为多个类别。首先，滤波器可以是规范的或非规范的。规范滤波器是编解码器的必要部分；如果没有它，就无法正确地解码视频。而非规范滤波器则为可选项。

其次，可根据滤波器的应用位置进行划分。如：在编码开始之前就应用于输入的预处理滤波器，在解码完成之后应用于输出的后处理滤波器，以及在编码循环中作为编码处理的集成部分的环路滤波器。预处理和后处理滤波器通常是非规范的，位于编解码器之外。根据定义来看，环路滤波器应该是规范的，它也是编解码器本身的一部分；它们用于编码优化过程，并应用于存储的参考帧或帧间编码。

AV1在编码循环中使用了三个标准增强滤波器。第一个是去块效应滤波器，它的功能就是其字面意思：消除编码块边缘明显的边界伪影。尽管DCT相对非常适合于压缩自然图像中的相邻像素的空间冗余，但它往往将误差集中在块边缘处。请记住，消除这种块效应倾向是Daala使用重叠变换的主要原因，但AV1是一种具有硬块边缘的更传统的编解码器。因此，它需要一个传统的去块效应滤波器来平滑块边缘的块斑现象。

传统的基于DCT块的编解码器中块效应示例。块边缘的误差因形成硬边缘而特别明显。更糟糕的是，DCT（以及DCT系列中的其他变换）倾向于将误差集中在块边缘，从而使得问题变得更为复杂。

三个过滤器中的最后一个是环路恢复滤波器。它是由两个可配置与可开关的滤波器，Wiener滤波器和Self-Guided滤波器组成。两者均是卷积滤波器，通过构建卷积核以恢复原始输入图像的某些质量损失，并且通常用于去噪和/或边缘增强。对AV1来说，它们是有效的通用去噪滤波器，通过可配置的模糊量来消除DCT 基础噪声。

这里，位于二者之间的过滤器，即约束定向增强滤波器（CDEF）是我们感兴趣的并将重点介绍的滤波器;与环路恢复滤波器相同的是，它可以消除尖锐边缘周围的振铃和基础噪声；但与环路恢复滤波器不同的是，它具有方向性。它可以顺着边缘，而不是像大多数滤波器那样在所有方向上盲目滤波，这使得CDEF特别神奇；它也是视频编码中应用的第一个可实现且有用的方向滤波器。

CDEF漫长而曲折的道路

CDEF的故事并不是一帆风顺的；它是漫长的，充满了回溯、离题和死胡同。