Deep Non-Local Kalman Network for VideoCompression Artifact Reduction

深度非局部卡尔曼网络用于视频压缩伪影抑制

Abstract

视频压缩算法广泛用于减少庞大的视频数据量，但由于有损压缩，它们也会引入令人不快的视觉伪影。为了提高压缩视频的质量，我们提出了一种深度非局部卡尔曼网络来减少压缩伪影。具体来说，视频恢复被建模为卡尔曼滤波过程，解码帧可以从提出的深度卡尔曼模型中恢复。与使用噪声较大的先前解码帧作为时间信息不同，以递归方式使用噪声较小的先前恢复帧，这提供了生成高质量恢复帧的可能性。在该框架中，使用多个深度神经网络来估计卡尔曼滤波器中的相应状态，并将其集成到深度卡尔曼滤波网络中。更重要的是，我们还通过合并时空非局部网络来利用非局部先验信息，以便更好地恢复。我们的方法综合了基于模型的方法和基于学习的方法的优点，结合了卡尔曼模型的递归性质和神经网络强大的表示能力。在Vimeo-90k和HEVC基准数据集上的大量实验结果证明了我们提出的方法的有效性。

 I. INTRODUCTION

考虑到互联网上越来越多的视频数据，压缩算法（例如H.264和HEVC）[1]-[3]已被应用于减少存储大小和带宽。然而，这些算法也会引入压缩伪影，例如阻塞、模糊和振铃伪影，为了在解码器端获得高质量的图像/视频，在过去的几十年中，人们提出了许多压缩伪影减少算法来生成无伪影的图像

以前，提出了手动设计的滤波器[4]、[5]和基于稀疏编码的方法[6]-[9]来解决这个问题。最近，基于学习的方法已成功应用于许多计算机视觉任务[10]-[20]，例如超分辨率[15]、[16]、去噪[17]和伪影减少[18]-[二十]。在[18]中，卷积神经网络（CNN）首次用于图像压缩伪影的减少，这证明了CNN模型的有效性。

在本文中，我们提出了一种深度非局部卡尔曼滤波网络来减少视频压缩伪影，我们的动机是双重的。首先，当前帧的恢复过程可以受益于先前恢复的帧。可以预期，与原始解码帧相比，先前恢复的帧可以提供更准确的时间信息。因此，我们可以利用先前恢复帧中更精确的时间信息，构建一个高性能的鲁棒视频伪影消除系统。显然，对先前恢复帧的依赖性将导致视频伪影去除的动态递归解决方案。更重要的是，该方案提供了通过递归管道利用长期时间信息的机会。我们知道，大多数基于学习的伪影减少方法[16]-[19]，[21]侧重于图像伪影的减少。尽管在视频伪影减少[22]或视频超分辨率[23]-[25]中利用了时间信息，但在不考虑先前恢复的帧的情况下，单独恢复每个帧（见图1（a））。总之，我们的目标是建立一种动态滤波方案（见图1（b））以利用前一帧中的精确时间信息进行高质量恢复

其次，时空非局部先验信息有利于图像/视频恢复任务。在过去几十年中，非局部先验已成功应用于图像恢复任务（例如，图像去噪[26]和图像超分辨率[8]）。然而，如何将这些强大的信息用于基于学习的方法，尤其是视频恢复，目前尚不清楚。更重要的是，运动线索对于视频恢复任务至关重要。大多数基于学习的视频恢复方法[22]、[24]尝试使用光流对齐时间相邻帧进行重建（见图1（c））。因此，恢复帧的质量在很大程度上取决于估计光流的准确性对于复杂区域，可能会降低。同时，非局部先验可以捕捉两个相邻帧之间的相似性，并且可以用作隐式方法来利用运动线索（见图1（d）），这更稳健和轻量级。因此，利用非局部先验信息增强恢复是可行的。

本文提出了一种深度非局部卡尔曼滤波网络来减少视频压缩伪影。我们提出的框架设计为后处理模块，可以轻松扩展到不同的压缩算法。具体来说，视频伪影减少被表述为卡尔曼滤波过程，这意味着可以通过利用从先前恢复帧传播的信息递归地细化解码帧。在我们的深度非局部卡尔曼模型中，提出了两个基于CNN的神经网络（即预测网络和测量网络）来执行卡尔曼滤波过程。预测网络试图基于先前恢复的帧计算先验估计，而测量网络旨在通过当前解码帧获得测量。通过利用设计良好的非局部网络，预测网络和测量网络都融合了时空非局部先验信息。然后，在卡尔曼框架中将先验估计和测量结合在一起，以减少伪影并恢复当前帧。我们的框架集成了卡尔曼滤波的递归性质和神经网络的高度非线性转换能力，从而弥合了基于模型的方法和基于学习的方法之间的差距。据我们所知，这是第一个基于卡尔曼模型的深度神经网络用于减少视频伪影

总之，本文的主要贡献有两个方面。首先，将视频伪影减少公式化为卡尔曼滤波过程，这导致解码帧的递归恢复过程。在卡尔曼滤波过程中，使用了几种CNN模型来预测和更新状态。其次，我们使用非局部网络来利用强大的时空先验信息稳健估计的域。大量实验结果验证了我们提出的视频压缩伪影减少框架的有效性。该框架建立在[27]中之前的方法的基础上，我们进行了以下显著改进。首先，我们利用非局部网络来利用时空先验信息，提高恢复帧的质量。其次，我们提出的框架不像[27]那样依赖于特定于任务的先验信息，并且在本文中成功地扩展到了其他视频恢复任务（例如视频去噪）。第三，我们提供了深入的分析和更多的实验结果来证明我们的框架的有效性。

......

和上一篇Deep Kalman Filtering Network for Video Compression Artifact Reduction类似