视频千倍压缩背后的技术原理之环路滤波

随着5G的成熟和广泛商用，带宽越来越高，让传输视频变得更加容易。移动设备算力的提升、存储容量的提升，也使得视频技术的应用越来越广泛。视频相关的技术，特别是视频压缩技术，因其专业性，深入开发的门槛较高，在实时通信场景中，视频压缩技术更面临严峻的挑战。因为在实时通信场景下，不仅对时延和设备适配的要求很高，对带宽适应的要求也非常高，因此开发一款满足实时通信要求的编解码器，难度很大。

此前，我们已经在《深入浅出理解视频编解码技术》一文中简要介绍了视频编解码基本框架，也在《揭秘视频千倍压缩背后的技术原理之预测技术》深入分析了该框架中的预测技术，今天我们将继续深入剖析其中的环路滤波模块。

PART 01 什么是环路滤波？

基于块的混合编码框架一直是多种视频编解码标准的核心。在编码视频的时候，人为地将视频分割成不同大小的块，再进行预测和补偿，然后再对预测残差进行变换和量化，这一过程都是基于块进行的，在重建视频的时候，在不同的块的边界上就会出现不连续性，这样的不连续性，也就是常说的“块效应”，如图1-1。

▲ 图1-1环路滤波前的重建图像

通常人眼会对这样的不连续性比较敏感，很容易感受到视频的清晰度下降。块效应的产生，一方面是由于基于块的变换和量化操作，量化误差导致不同的块的重建样本产生了不同重建值，从而产生了边界；另外，由于运动补偿时，相邻的编码块的预测值，并不一定来自同一帧的相邻块，也会引入虚假边界；类似的，帧内预测不同的预测模式，生成预测值的方式不同，也会引入虚假边界。

为了减少视频中块的不连续性带来的主观质量下降，可以对重建视频进行滤波操作，如图1-2，经过滤波之后，视频的主观质量有了明显地改善，虚假的块边界平滑了，更为接近原始图像。从图中也可以发现，平坦区域，块效应更加明显，纹理丰富的区域（树叶），有自然的图像边界，也有编码引入的块边界，块效应相对不明显，同时，环路滤波器的设计也需要考虑区分“真”、“假”边界，防止对图像本身已经有的自然边界进行平滑，导致失真。

▲ 图1-2环路滤波后的重建图像

在较早的编码标准中，如MPEG-2，该操作都是在后处理阶段进行的，即视频流在解码重建后，输出之前进行滤波，以减少主观上的不舒适性。从H.263附录J开始，引入了“环路滤波”，之所以叫“环路”或者“In-loop”，是因为该滤波器在解码的闭环当中，如图红色模块所示，码流中的语法元素解析后，进行反量化和反变换，并与预测值叠加，得到重建图像，该重建图像将先进行环路滤波，再输出显示，同时作为参考图像，以便于后续的视频帧进行运动补偿。

由于环路滤波的引入