OAPT：用于双JPEG伪影去除的偏移感知分区的Transformer

OAPT: Offset-Aware Partition Transformer for Double JPEG Artifacts Removal

https://github.com/QMoQ/OAPT

2408.11480 (arxiv.org)

基于深度学习的方法在去除单个JPEG伪影任务中表现出了显著的性能。然而，现有方法在处理双重JPEG图像时往往会退化，而这类图像在真实场景中普遍存在。

本文提出了一种用于去除双重JPEG伪影的偏移感知分区Transformer，称为OAPT。本文对双重JPEG压缩进行了分析，发现每个8x8块内最多会出现四种模式，并设计了我们的模型以聚类相似模式来克服恢复难度。

OAPT由两部分组成：压缩偏移预测器和图像重建器。具体来说，预测器估计第一次和第二次压缩之间的像素偏移量，然后利用这些偏移量来区分不同的模式。重建器主要基于多个混合分区注意力块（HPAB），该块结合了基于窗口的自注意力和稀疏注意力来处理聚类模式特征。

大量实验表明，在双重JPEG图像恢复任务中，OAPT的性能优于最先进的方法，高出0.16dB以上。此外，在不增加任何计算成本的情况下，HPAB中的模式聚类模块可以作为插件来增强其他基于Transformer的图像恢复方法。

问题描述

与单次压缩相比，双JPEG压缩在现实场景中更为常见，因为互联网上的图像通常会经历多个压缩周期[14, 28, 40, 62]。例如，如图1(a)所示，一张新拍摄的照片在首次压缩后存储在相机的磁盘中，之后在图像编辑（如裁剪）或上传到社交媒体云服务器时，会进行第二次压缩，从而成为双压缩图像。随着上述过程的重复发生，自然会产生多压缩图像。

然而，大多数以前的方法都是在单次压缩数据上进行训练的，并且只考虑了质量因子（QF）的范围，