二维码提高对比度文献调研(2)--HINet: Half Instance Normalization Network for Image Restoration

简介

（1）论文名称：
HINet: Half Instance Normalization Network for Image Restoration CVPR 2021
（2）论文链接：
https://arxiv.org/abs/2105.06086
（3）源代码：
https://github.com/megvii-model/HINet

主要idea

这篇论文本文探讨了规范化在低层次视觉任务中的作用，作者提出了一种新的块:半规范化块(HIN块)，以提高图像恢复网络的性能。基于HIN块，作者设计了一个简单而强大的多级网络HINet，它由两个子网组成。通过将HIN block用于每个子网络的编码器中，提升特征的稳定性。此外，使用交叉阶段特征融合（CSFF）和监督注意力模块（SAM），用于丰富不同阶段网络之间的特征。

实验简介

（1）数据集：
作者一共用了四个数据集

• SIDD：一个图像去噪数据集，包含来自10个不同光照条件下的3万幅噪声图像
• Gopro：用于去模糊的GoPro数据集由3214张1,280×720大小的模糊图像组成，这些图像分为2103张训练图像和1111张测试图像。
• REDS：数据集由300个分辨率为720×1,280的视频序列组成，每个视频有100帧，其中训练集、验证集和测试集分别有240、30和30个视频。
• Synthetic Rain Datasets：由13712张从多个数据集(Rain14000, Rain1800, Rain800, Rain12)收集的干净雨图像对组成。使用单一训练过的模型，可以在各种测试集上执行评估，包括Rain100H、Rain100L、Test100、Test2800和Test1200。

（2）预训练模型：

• HINet-SIDD-0.5x
• HINet-SIDD-1x
• HINet-GoPro
• HINet-REDS
• HINet-Rain13k

实验结果

所遇到的问题

• 代码中引用的scikit-image包必须是0.18版本，0.15版本会缺少相关功能且报错

运行失败信息

GPU不够

• 本人做实验所使用的电脑显卡为1050ti，但是在运行代码的Single Image Inference(执行操作为：python basicsr/demo.py -opt options/demo/demo.yml)时会报错，显示我的内存不足。具体信息如下图所示：
  
  这里输入为：python basicsr/demo.py -opt options/demo/demo.yml
  使用的模型为：HINet-GoPro.pth