[All-in-one] 多模态提示感知器: 赋予适应性，通用性和保真度为一体的图像恢复

Phoenixtree_DongZhao

已于 2024-08-17 10:40:26 修改

阅读量945

点赞数 14

分类专栏： MyDLNote-Enhancement Multi-modal 文章标签：深度学习图像修复

于 2024-08-17 10:39:08 首次发布

本文链接：https://blog.csdn.net/u014546828/article/details/141276388

版权

MyDLNote-Enhancement 同时被 2 个专栏收录

52 篇文章 10 订阅

订阅专栏

Multi-modal

14 篇文章 0 订阅

订阅专栏

Multimodal Prompt Perceiver:

Empower Adaptiveness, Generalizability and Fidelity for All-in-One Image Restoration

https://arxiv.org/pdf/2312.02918

GitHub

Abstract

Abstract Despite substantial progress, all-in-one image restoration (IR) grapples with persistent challenges in handling intricate real-world degradations. This paper introduces MPerceiver: a novel multimodal prompt learning approach that harnesses Stable Diffusion (SD) priors to enhance adaptiveness, generalizability and fidelity for all-in-one image restoration. Specifically, we develop a dual-branch module to master two types of SD prompts: textual for holistic representation and visual for multiscale detail representation. Both prompts are dynamically adjusted by degradation predictions from the CLIP image encoder, enabling adaptive responses to diverse unknown degradations. Moreover, a plug-in detail refinement module improves restoration fidelity via direct encoder-to-decoder information transformation. To assess our method, MPerceiver is trained on 9 tasks for all-in-one IR and out performs state-of-the-art task-specific methods across most tasks. Post multitask pre-training, MPerceiver attains a generalized representation in low-level vision, exhibiting remarkable zero-shot and few-shot capabilities in unseen tasks. Extensive experiments on 16 IR tasks underscore the superiority of MPerceiver in terms of adaptiveness, generalizability and fidelity.

尽管取得了显著进展，但全功能图像恢复（IR）在处理复杂的现实世界退化方面仍面临持续挑战。本文介绍了MPerceiver：一种新颖的多模态提示学习方法，该方法利用Stable Diffusion（SD）先验来增强全功能图像恢复的适应性、泛化能力和保真度。具体而言，我们开发了一个双分支模块来掌握两种类型的SD提示：文本提示用于整体表示，视觉提示用于多尺度细节表示。这两种提示均根据CLIP图像编码器的退化预测进行动态调整，从而能够对各种未知的退化做出适应性响应。此外，一个插件式细节精炼模块通过直接的编码器到解码器信息转换提高了恢复保真度。为了评估我们的方法，MPerceiver在9项全功能IR任务上进行了训练，并在大多数任务上优于最新的特定任务方法。经过多任务预训练后，MPerceiver在低层视觉中获得了泛化表示，在未见任务中展现出了显著的零样本和少样本能力。在16项IR任务上的广泛实验强调了MPerceiver在适应性、泛化能力和保真度方面的优越性。

Introduction

图像恢复（Image Restoration）挑战：图像恢复旨在从低质量（LQ）图像中重建高质量（HQ）图像。尽管基于深度学习的图像恢复方法在单一退化类型上表现出色，但在处理现实世界中的复杂和未知退化时，这些方法往往表现不足。

全功能图像恢复（All-in-One Image Restoration）：为了应对这一挑战，全功能图像恢复的概念应运而生，旨在通过一个统一的模型处理多种退化。尽管现有方法在提高网络对各种退化的适应性方面取得了进展，但它们在现实世界的复杂和多样退化中的适应性和泛化能力仍面临挑战。

Stable Diffusion（SD）的启发：大规模文本到图像的扩散模型，如Stable Diffusion（SD），在高质量和多样化的图像合成方面取得了成功。本文受SD生成先验的启发，探索将其应用于全功能图像恢复，以提升恢复质量、适应性和泛化能力。

MPerceiver的提出：为了克服SD直接应用于图像恢复时的挑战，本文提出了MPerceiver，一种利用SD生成先验的多模态提示学习方法，以增强全功能图像恢复的适应性、泛化能力和保真度。

MPerceiver的优势：MPerceiver通过动态调整文本和视觉提示，实现对多种未知退化的自适应响应，并通过插件细节精炼模块提高恢复保真度。此外，MPerceiver在多个任务上的实验结果表明，其在适应性、泛化能力和保真度方面具有显著优势。

Method

1. Preliminary: Latent Diffusion Models

在本文中，作者首先介绍了潜在扩散模型（Latent Diffusion Models, LDMs），特别是Stable Diffusion（SD）模型，作为他们方法的基础。潜在扩散模型是一种强大的生成模型，能够在高维数据（如图像）上生成高质量和多样化的样本。Stable Diffusion是这类模型中的一个代表，它通过逐步去噪过程从随机噪声中生成图像。

关键特点：

潜在空间：Stable Diffusion在潜在空间（latent space）中操作，而不是直接在像素空间。这有助于减少计算复杂性和提高生成效率。
去噪过程：模型通过逐步去除添加到潜在表示中的噪声来生成图像。这个过程是条件化的，可以根据给定的文本提示或其他条件信息来指导生成过程。
高质量和多样性：Stable Diffusion能够生成高质量且多样化的图像，这得益于其强大的生成能力和复杂的网络结构。

2. Dual-branch with Multimodal Prompts

为了有效利用Stable Diffusion的生成先验，作者提出了一种双分支模块（Dual-branch Module），该模块通过多模态提示（Multimodal Prompts）来增强全功能图像恢复（All-in-One Image Restoration）的适应性、泛化能力和保真度。

双分支模块结构：

文本提示分支（Textual Prompt Branch）：该分支负责学习全局表示（holistic representation）。它接收文本提示作为输入，并预测高质量的文本嵌入（text embedding），这些嵌入随后被用于指导图像恢复过程。文本提示提供了关于恢复目标的高级语义信息，有助于模型理解并恢复图像的整体结构和内容。
视觉提示分支（Visual Prompt Branch）：该分支负责学习多尺度细节表示（multiscale detail representation）。它接收低质量（LQ）图像作为输入，并提取与退化相关的特征。这些特征随后被用于生成视觉提示，这些提示包含了关于图像局部细节和纹理的丰富信息。

跨模态适配器（Cross-Modal Adapter, CM-Adapter）和图像恢复适配器（Image Restoration Adapter, IR-Adapter）：

CM-Adapter：用于将文本提示嵌入与潜在空间中的表示相结合，实现文本到图像的跨模态转换。它帮助模型理解文本提示中的高级语义信息，并将其映射到图像生成过程中。
IR-Adapter：用于将视觉提示与潜在空间中的表示相结合，以恢复图像的细节和纹理。它根据视觉提示中的局部信息来指导图像恢复过程，确保生成的图像既符合全局结构又保留局部细节。

动态整合机制：

文本提示和视觉提示通过动态整合机制相结合，以适应不同的退化类型和程度。这种机制允许模型根据输入图像的具体退化情况来灵活调整文本和视觉提示的权重，从而实现更准确的图像恢复。

细节精炼模块（Detail Refinement Module, DRM）：

DRM模块进一步提取退化感知的低质量特征，并将其直接融合到解码器中。通过编码器到解码器的直接信息转换，DRM模块能够进一步增强恢复图像的保真度。它关注于恢复图像中的细微结构和纹理细节，使生成的图像更加逼真和自然。

3. Detail Refinement Module

功能：
细节精炼模块（DRM）旨在进一步提高图像恢复的保真度。该模块通过从VAE（变分自编码器）编码器中提取低质量（LQ）图像的退化感知特征，并将其与解码器直接进行信息转换，以进一步改善恢复的图像质量。

模块组成：

特征提取：DRM首先从VAE编码器中获取包含退化信息的低质量特征。
信息转换：接着，将这些特征通过编码器到解码器的直接信息转换（Direct Encoder-to-Decoder Information Transformation）方式融入到解码过程中。这种方式确保了关键退化信息的有效利用，从而改进了最终图像的质量。

机制细节：
DRM利用了变分自编码器的层次化特性，特别是在低分辨率编码器中捕获到的全局和低层次的退化信息。这些信息在解码阶段通过适当的特征融合技术（如注意力机制或简单的特征相加）被进一步处理和加强，以增强解码生成的图像的高频细节和边缘质量。

技术特点：