二维码提高对比度文献调研(1)--Multi-Stage Progressive Image Restoration

简介

（1）论文名称：
Multi-Stage Progressive Image Restoration CVPR 2021
（2）论文链接：
https://arxiv.org/abs/2102.02808
（3）源代码：
https://github.com/swz30/MPRNet

主要idea

本篇文章在空间细节和高级上下文信息直接的平衡上提出了一个新的协同设计。主要建议是一个多阶段架构，渐进式的学习复原函数，从而将整个恢复过程分解为更易于管理的步骤。模型首先使用编码器-解码器体系结构学习情境特征，然后将它们与保留局部信息的高分辨率分支相结合。在每个阶段，都引入了新颖的逐像素自适应设计，利用现场监督注意力来重新权重局部特征。对于不同阶段之间的信息交换，作者提出了一个两面方法，即信息不仅从早期到后期的顺序交换，而且还存在特征处理块之间的横向连接，以避免任何信息的丢失。

前两个阶段（Stage1，Stage2）使用编码器-解码器提取多尺度上下文特征，而最后一个阶段（Stage3）操作原始图像分辨率，以产生空间准确的输出。在每两个阶段之间添加一个监督注意模块，学习完善前一个阶段的特征后再将其传递到下一个阶段。

实验简介

（1）数据集：
作者一共使用了6个数据集.

• GoPro ：用于去模糊的GoPro数据集由3214张1,280×720大小的模糊图像组成，这些图像分为2103张训练图像和1111张测试图像。
• SIDD：一个图像去噪数据集，包含来自10个不同光照条件下的3万幅噪声图像
• Synthetic Rain Datasets：由13712张从多个数据集(Rain14000, Rain1800, Rain800, Rain12)收集的干净雨图像对组成。使用单一训练过的模型，可以在各种测试集上执行评估，包括Rain100H、Rain100L、Test100、Test2800和Test1200。
• HIDE：由8422个模糊和清晰的图像对和65784个密集注释的FG人体边界框组成。
• Real Blur Dataset：由包括参考对在内的4738对不同场景的图像组成，包括两个数据集:原始图像生成RealBlur-R, JPEG图像生成RealBlur-J。每个训练集由3758对图像组成，而每个测试集由980对图像组成。
• DND：由50对噪声和(几乎)无噪声的图像组成，由于图像的高分辨率，提供者从每张图像中提取了20个512 × 512的作物，总共产生了1000个patch。

这里采用了张恒汝老师新提供的二维码数据集进行实验，数据集文件名为qr_src_detect，一共分为两部分qr_src_detect \detect和qr_src_detect\src。其中detect文件夹中有137张二维码照片，src中有134张二维码照片。

（2）预训练模型：
这里作者提供了三个训练好的模型。

• Deblurring（去模糊）
• Deraining（去雨）
• Denoising（去噪）

这里分别用作者提供的模型对二维码照片进行实验

实验结果

模型一（Deblurring）

输入1（qr_src_detect \detec）：

输出1：

输入2（qr_src_detect\src）：

输出2：

模型一实验结论

我们可以看到经过Deblurring模型处理过的二维码照片有些产生额外的颜色，甚至有些二维码还受到了扭曲，总体来说效果较差。

模型二（Deraining）

输入1（qr_src_detect \detec）：

输出1：

输入2（qr_src_detect\src）：

输出2：

模型二实验结论

我们可以看到相较于模型一，模型二处理过后的二维码图片基本没有发生图案扭曲，但提高对比度效果一般。

模型三（Denoising）

输入1（qr_src_detect \detec）：

输出1：

输入2（qr_src_detect\src）：

输出2：

模型三实验结论

经过模型三处理后的二维码照片没有太大的改变，提高对比度效果也不理想。

实验结论

实验表明，这篇文章的模型主要还是在Deblurring、Deraining、Denoising这三个方面效果显著。而在提高照片的对比度方面，效果就不太明显了。但是在主观上，经过Deblurring和Deraining模型处理后的二维码照片看起来感觉还是更清晰了一些。