HAIR : 基于超网络的一体化图像恢复

HAIR: Hypernetworks-based All-in-One Image Restoration

GitHub - toummHus/HAIR  |   2408.08091 (arxiv.org)

ABSTRACT

Image restoration involves recovering a high-quality clean image from its degraded version, which is a fundamental task in computer vision. Recent progress in image restoration has demonstrated the effectiveness of learning models capable of addressing various degradations simultaneously, i.e., the All-in-One image restoration models. However, these existing methods typically utilize the same parameters facing images with different degradation types, which causes the model to be forced to trade off between degradation types, therefore impair the total performance. To solve this problem, we propose HAIR, a Hypernetworks-based plug-in-and-play method that dynamically generated parameters for the corresponding networks based on the contents of input images. HAIR consists of 2 main components: Classifier (Cl) and Hyper Selecting Net (HSN). To be more specific, the Classifier is a simple image classification network which is used to generate a Global Information Vector (GIV) that contains the degradation information of the input image; And the HSNs can be seen as a simple Fully-connected Neural Network that receive the GIV and output parameters for the corresponding modules. Extensive experiments shows that incorporating HAIR into the architectures can significantly improve the performance of different models on image restoration tasks at a low cost, although HAIR only generate parameters and haven’t change these models’ logical structures at all. With incorporating HAIR into the popular architecture Restormer, our method obtains superior or at least comparable performance to current state-of-the-art methods on a range of image restoration tasks.

图像恢复涉及到从其退化版本中恢复高质量的干净图像，这是计算机视觉中的一项基本任务。图像恢复的最新进展已经证明了能够同时处理各种退化的学习模型的有效性，即All-in-One图像恢复模型。然而，这些现有的方法通常对不同退化类型的图像使用相同的参数，这导致模型被迫在退化类型之间进行权衡，从而损害了总体性能。

为了解决这个问题，本文提出了HAIR，这是一种基于超网络的即插即用方法，它根据输入图像的内容动态地为相应的网络生成参数。HAIR主要由两个部分组成:分类器(Cl)和超选择网(HSN)。

CI是一个简单的图像分类网络，用于生成包含输入图像退化信息的全局信息向量(GIV)。

HSN可以看作是一个简单的全连接神经网络，它接收相应模块的GIV和输出参数。

大量的实验表明，尽管HAIR只生成参数，并没有改变模型的逻辑结构，但将HAIR纳入到体系结构中可以以较低的成本显著提高不同模型在图像恢复任务中的性能。通过将HAIR整合到流行的架构Restormer中，本文的方法在一系列图像恢复任务上获得了优于或至少与当前最先进的方法相当的性能。

现有的一体化图像修复算法存在一个共同的缺点：它们依赖于具有固定参数的单一模型来解决各种退化问题。这种“一刀切”的方法在处理多种退化问题时可能会阻碍模型的有效性。例如，从频域分析的角度来看，雾霾被描述为低频噪声，而与之相对的，雨水则被视为高频干扰。一个有效的去雾模型就像是一个低通滤波器，能够保留高频细节，而去雨则需要相反的效果——增强高频成分。因此，模型必须在不同退化问题相互冲突的需求之间找到平衡，这可能导致性能次优。

为了缓解上述问题，本文提出了HAIR。本文的基本理念是基于输入图像中存在的退化信息动态生成参数。HAIR采用了超网络（Hypernetworks）[29]，这是一种可训练的神经网络，用于为其他神经网络输出参数。HAIR利用超网络从输入图像中获取退化信息，并生成相应的参数。

具体来说，对于给定的未知退化图像，首先利用一个类似于图像分类网络中使用的分类器来获取其全局信息向量。然后，这个向量被传递给超选择网络（Hyper Selecting Net），这是一个全连接网络，用于生成所需的参数，如图1所示。因此，本文的方法能够动态地适应各种退化情况。通过这些动态参数化的模块，最终实现了图像的恢复。

Hyper Selecting Net

在从分类器获得全局信息向量Vg后，将其输入到数据条件超网络（Data-conditioned Hypernetworks，known as Hyper Selecting Nets）中，为相应的Transformer块生成权重。给定Vg∈R^{2C}，选择向量 (SV) Vs∈R^N 的初始计算如下:

其中σ表示Softmax操作，FCNN表示简单的全连接神经网络。然后，导出参数w:

式中，Vs i表示Vs的第i个元素。矩阵w∈R^{N×P}，称为权重箱，其中 Wi∈R^P 为其第i列。超参数N影响参数总数，其中P为一个变压器块所需的参数数。确定w后，将其作为Transformer Block的参数应用:

其中，x表示输入，x '表示结果输出。由于Transformer Blocks 是基于卷积的，因此将w∈R^P重构为4维张量，作为Transformer Blocks的卷积核。为了节约参数，同一解码器级别的变压器块共用一个权重盒，每个Transformer 块独立配置自己的FCNN。

[29] David Ha, Andrew Dai, and Quoc V. Le. Hypernetworks, 2016.