【CVPR2024】Bracketing Image Restoration and Enhancement with High-Low Frequency Decomposition

Bracketing Image Restoration and Enhancement with High-Low Frequency Decomposition

---

论文信息

题目： Bracketing Image Restoration and Enhancement with High-Low Frequency Decomposition
中文题目:高低频分解在图像恢复与增强中的应用

源码:https://github.com/chengeng0613/HLNet

---

论文创新点

• 提出了SCEB，使用SCConv同时考虑空间和通道信息，有效提取不同退化的共同特征。
• 提出了HLFDB，充分考虑不同退化需要不同高低频信息，有效解决了同时恢复这些退化的挑战。
• HLNet在指标和视觉质量方面均超越了以往的最先进模型，在括号图像恢复与增强挑战赛的第2赛道中获得第四名。

---

摘要

在现实场景中，由于一系列图像退化问题，获取高质量、清晰内容的照片颇具挑战。尽管在合成高质量图像方面取得了显著进展，但以往的图像恢复与增强方法往往忽视了不同退化的特性，采用相同结构处理各种退化问题，导致恢复效果不尽如人意。受高低频信息适用于不同退化问题这一理念的启发，我们提出了基于高低频分解的图像恢复与增强方法HLNet。具体而言，我们使用两个模块进行特征提取：共享权重模块和非共享权重模块。在共享权重模块中，我们使用SCConv从不同退化中提取共同特征。在非共享权重模块中，我们引入了高低频分解模块（HLFDB），采用不同方法处理高低频信息，使模型能够更有效地处理不同退化问题。与其他网络相比，我们的方法考虑了不同退化的特性，从而实现了更高质量的图像恢复。

---

引言

在现实场景中，各种图像退化问题使得捕获高质量、清晰内容的照片变得困难。低曝光可能导致噪声增加，尤其是在暗部区域高低频分解在图像恢复与增强中的应用，可能导致细节丢失。同样，高曝光图像的亮部区域可能因过曝而丢失细节。尽管提出了众多单图像恢复方法，如去噪、去模糊、超分辨率和高动态范围图像重建等，但其性能受限于单图像中的信息不足。

由于单图像恢复与增强的局限性，如信息不足和曝光时间影响，越来越多的方法利用多帧进行恢复。突发图像恢复方法使用多个连续帧进行超分辨率和去噪，而多曝光HDR成像从不同曝光的LDR图像中重建HDR图像。然而，这些方法仅考虑单一退化场景，忽视了其他退化情况。最近，TMRNet在统一图像恢复与增强任务的框架设计中提出了可行的解决方案。它以多曝光图像为输入，逐步将非参考帧与参考帧混合。尽管他们考虑了不同退化的共性和特性，使用了共享权重模块和非共享权重模块，但在处理不同退化的特性时采用了相同结构，忽视了一些退化的特性。为了解决上述问题，我们提出了HLNet，该模型考虑了各种退化的特性。与TMRNet类似，我们的模型利用共享权重模块和非共享权重模块提取特征。在共享权重模块中，我们引入了空间通道增强模块（SCEB），使用SCConv同时考虑空间和通道信息，有效提取不同退化的共同特征。在非共享权重模块中，不同退化适合用不同频率信息处理。例如，去噪和去模糊通常需要增强高频信息以恢复图像细节和纹理，超分辨率需要在恢复低频信息的基础上添加高频细节，而HDR重建需要从不同帧中捕获低频信息。因此，我们提出了高低频分解模块（HLFDB）。具体而言，在HLFDB中，高频特征可以捕获详细的局部信息，更适合去噪和去模糊增强。因此，我们通过多个卷积块提取局部特征图，并通过密集连接机制增强多帧中的高频细节。低频特征可以捕获图像中的大部分结构信息和全局特征，更适合超分辨率和多曝光HDR重建任务。因此，我们采用多级通道自注意力学习长距离依赖关系，并利用基于小波变换的尺度特征融合方法，避免因下采样导致的结构信息丢失。因此，我们的模型在图像恢复与增强时充分考虑了不同退化的特性，使其在统一图像恢复与增强任务中表现更佳。

---

2. 相关工作

2.1 突发图像恢复

突发图像指在短时间内连续快速捕获的一系列图像。这些图像中可能存在轻微变化，如相机移动、物体运动或光照条件变化。突发图像恢复通常涉及几个主要类别：去噪、去模糊和超分辨率。许多去噪方法在文献中得到了广泛研究。某些方法采用递归全卷积深度神经网络，而其他方法则选择空间变化核估计。值得注意的是，某些方法还利用偏移估计来应对大量物体运动的挑战。另一些方法探索了突发图像超分辨率的潜力，Both和均采用变换器架构，但省略了像素级对齐，转而采用基于结构几何的简单单应性对齐。中心概念围绕生成一系列伪突发特征，无缝融合所有输入突发帧的互补信息，以实现有效信息交换。

2.2 多帧HDR恢复

多帧HDR恢复涉及从多个低动态范围（LDR）帧创建高动态范围（HDR）图像。在经典的HDR恢复方法中，Debevec等人首次提出了将多个LDR图像合并为单个HDR图像的想法。随后，许多方法采用各种方式将其他帧对齐到参考帧，包括光流、能量优化、秩最小化等。Zhang和Cham利用图像梯度重新校准运动区域权重。Bogoni计算流矢量用于对齐目的。Sen等人采用基于patch的能量最小化方法，优化后续对齐和重建。然而，当前景物体运动显著或过曝/欠曝区域像素丢失过多时，这些方法表现不佳。随着深度学习的发展，深度方法也被应用于多帧HDR融合领域。An等人提出了一种注意力引导的图像融合方法，减少了鬼影伪影的存在。SCTNet利用空间注意力和通道注意力模块，旨在同时利用动态和静态上下文信息，以更好地生成图像。然而，这些方法只能处理单个退化图像。

---

方法

3.1 HLNet概述

在本研究中，受多曝光图像的协同潜力和高低频信息适用于不同退化的启发，我们提出了一种通过高低频分解进行图像合成和增强的方法。目标是实现清晰、高动态范围和高分辨率的图像。具体而言，我们的输入由五个不同曝光的原始图像组成，记为{R1, R2, R3, R4, R5}。首先，我们将多个曝光图像的数量输入为5，并将曝光时间为∆ti的原始图像标记为Yi，其中i ∈ {1, 2, …, 5}且∆ti < ∆ti+1。随后，遵循多曝光HDR重建方法的指导方针，我们通过拼接将伽马变换后的图像Yr与原始图像Yi合并，结果为Fi，其中i ∈ {1, 2, …, 5}。该过程可表示为：
$$Yi=(\Delta ti/\Delta t1$$