DiffBIR 发表于2023年的ICCV,是一种基于生成扩散先验的盲图像恢复模型。它通过两个阶段的处理来去除图像的退化,并细化图像的细节。DiffBIR 的优势在于提供高质量的图像恢复结果,并且具有灵活的参数设置,可以在保真度和质量之间进行权衡。网络结构图如下所示:
- 优化的痛点问题:
- 平衡扩散模型内在具有的真实感先验以及图像复原任务所需要的保真度要求。
- two stage 的网络总体架构
- stage one:去除退化的预训练模型
- SwinIR 的结构(8个残差Swin Transformer block,每个RSTB包含6个Swin Transformer Layers (STL));
- 处理多种任务:模糊,噪声,压缩伪影和低分辨率(二阶退化采用经典退化模型:模糊-调整大小-噪声过程两次)
- 3 × 3卷积层进行浅层特征提取;深度特征提取采用多个残差Transformer块(低分辨率空间)。
- stage two:利用生成先验进行图像重建
- Stable Diffusion 的方法(Stable Diffusion 2.1-base 3,并进行微调);