【论文笔记（4）】MV-GNN: Multi-View Graph Neural Network for Compression Artifacts Reduction

摘要

在许多面向交互的3D视觉应用中，多视点视频(MVV)中不可避免的压缩伪影会明显降低体验质量。

在非对称编码的框架下，考虑到不同视点之间的相似性，利用相邻视点的高质量图像对低质量图像进行增强。

然而，压缩伪影和翘曲误差会导致不同序列的横视质量差距不同，本文提出了一种多视点图神经网络(MV-GNN)来减少多视点压缩图像中的压缩伪影。既能利用相邻视点的贡献，又能抑制误导信息。

在我们的方法中，设计了一种基于GNN的融合机制，在GNN的聚合和更新机制下对横视信息进行融合。

实验表明，压缩图像中的分块效应得到明显抑制，受损目标边界得到较好的恢复。

简介

多视点视频(Multi-view video，MVV)[1]已经被许多三维和面向交互的视觉应用采用作为基本的数据表示，它可以提供场景的身临其境的感知观看体验[2]、[3]。

然而，对于那些基于多视点视频的系统来说，大量的冗余数据一直是一个挑战，它们需要有效的压缩技术来传输。

然而，如图1所示，压缩伪影(例如，块伪影、模糊、噪声混叠效果等)。这是不可避免的，可能会对视觉质量和用户体验产生重大影响，特别是当带宽限制是应用程序设计中的主要问题时。

在过去的几十年里，许多工作都集中在对失真图像的压缩伪影的减少上。

我们提出了一种多视点图神经网络(MV-GNN)来解决MVV中压缩伪影减少的挑战。

总结我们的工作，我们首先自适应地利用多视图先验知识，通过设计端到端的残差网络来减少压缩后的MVV图像中的压缩伪影。

该网络采用多尺度残差块检测HEVC压缩图像在不同尺度下的特征映射，为后续的特征融合提供更具代表性的信息。

在自适应的基础上，提出了一种基于GNN的融合机制，以更好地重建MVV中的多视点先验。

在该机制中，在多视图融合特征图上构造K-近邻图。

然后利用GNN的聚集和更新机制，自适应地从压缩的MVV中挖掘有用的先验，同时抑制误导先验。

相关工作

压缩伪影的减少方法可以分为两类：单图像方法和多图像方法。

单幅图像方法，