DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior

• 深圳先进研究院&上海ai lab&港中文
• https://github.com/XPixelGroup/DiffBIR
• https://arxiv.org/pdf/2308.15070

1. 问题引入

• 使用一个统一的框架来处理image restoration任务，包含图片超分BSR，图片去噪BID和人脸restoration BFR，分为两个阶段，第一个阶段是degradation removal来去掉与图片无关的退化信息，第二个阶段是generation module for lost information regeneration.
• 使用SD预训练模型，增加额外的controlnet可训练部分；
• 之所以要进行第一阶段，主要是因为以退化之后的图片作为条件进行生成，生成模型无法区分那些是degradation那些是图片本身，导致artifact，图示：

2. methods
   

• 分别为三个子任务使用各自的训练好的degradation removal模型，除此之外还专门训练了一个restoration module使用MSE进行训练，训练好之后专门为stage2使用，用来作为image cond的预处理；
• stage2：图片cond，实现通过controlnet实现

3. 实验