PPgan 之 MPR_Net

本文代码基于PaddleGAN开发。

MPR_Net

1 简介

MPR_Net是发表在CVPR2021上的一种图像恢复方法。图像恢复任务需要在恢复图像时在空间细节和高级上下文信息之间取得复杂的平衡。MPR_Net 提出了一种新颖的协同设计，可以最佳地平衡这些竞争目标。主要提议是一个多阶段架构，逐步学习退化输入的恢复功能，从而将整个恢复过程分解为更易于管理的步骤。具体来说，该模型首先使用编码器-解码器架构学习上下文化特征，然后将它们与保留本地信息的高分辨率分支相结合。在每个阶段，MPR_Net 引入了一种新颖的每像素自适应设计，该设计利用原位监督注意力来重新加权局部特征。这种多阶段架构的一个关键因素是不同阶段之间的信息交换。为此，MPR_Net 提出了一种两方面的方法，其中信息不仅从早期阶段到晚期阶段顺序交换，而且特征处理块之间也存在横向连接以避免任何信息丢失。由此产生的紧密互连的多阶段架构，称为 MPRNet，在包括图像去雨、去模糊和去噪在内的一系列任务中，在十个数据集上提供了强大的性能提升。

2 如何使用

2.1 快速入门

安装 PaddleGAN 后，您可以按如下方式运行 python 代码来生成恢复后的图像。其中task是恢复方式的类型，可以在Deblurring、Denoising和中选择Deraining，PATH_OF_IMAGE是你的图片路径。

from ppgan.apps import MPRPredictor
predictor = MPRPredictor(task='Deblurring')
predictor.run(PATH_OF_IMAGE)

或者运行这样的命令以获得相同的结果：

python applications/tools/mprnet.py --input_image ${PATH_OF_IMAGE} --task Deblurring

其中task是恢复方式的类型，可以在Deblurring、Denoising和中选择Deraining，PATH_OF_IMAGE是你的图片路径。

2.1 准备数据集

去模糊训练数据集是 GoPro。用于去模糊的 GoPro 数据集由 3214 张模糊图像组成，大小为 1,280×720。这些图像分为 2103 个训练图像和 1111 个测试图像。它可以从这里下载。下载后解压到data目录下。解压后的结构GoProdataset如下：

GoPro
├── train
│   ├── input
│   └── target
└── test
    ├── input
    └── target

去噪训练数据集是 SIDD，一个图像去噪数据集，包含来自 10 种不同光照条件的 30,000 张噪声图像，可以从训练数据集和测试数据集下载。下载后解压到data目录下。解压后的结构SIDDdataset如下：

SIDD
├── train
│   ├── input
│   └── target
└── val
    ├── input
    └── target

Deraining 训练数据集是 Synthetic Rain Datasets，它由从多个数据集（Rain14000、Rain1800、Rain800、Rain12）收集的 13,712 个干净的雨水图像对组成，可以从训练数据集和测试数据集下载。下载后解压到data目录下。解压后的结构Synthetic_Rain_Datasets如下：

Synthetic_Rain_Datasets
├── train
│   ├── input
│   └── target
└── test
    ├── Test100
    ├── Rain100H
    ├── Rain100L
    ├── Test1200
    └── Test2800

2.2 培训

一个例子是去模糊的训练。如果你想训练其他任务，你可以替换配置文件。

python -u tools/main.py --config-file configs/mprnet_deblurring.yaml

2.3 测试

测试模型：

python tools/main.py --config-file configs/mprnet_deblurring.yaml --evaluate-only --load ${PATH_OF_WEIGHT}

3 结果

去模糊

模型	数据集	PSNR/SSIM
MPRNet	GoPro	33.4360/0.9410

去噪

模型	数据集	PSNR/SSIM
MPRNet	SIDD	43.6100 / 0.9586

去雨

模型	数据集	PSNR/SSIM
MPRNet	Rain100L	36.2848 / 0.9651

4 下载

模型	关联
MPR_Deblurring	MPR_去模糊
MPR_Denoising	MPR_去噪
MPR_Deraining	MPR_Deraining