A Recursive Restoration Model for Single-Image Super-Resolution(EBRN ICCV2019)

文章标题：Embedded Block Residual Network: A Recursive Restoration Model for Single-Image Super-Resolution

文章链接：http://openaccess.thecvf.com/content_ICCV_2019/papers/Qiu_Embedded_Block_Residual_Network_A_Recursive_Restoration_Model_for_Single-Image_ICCV_2019_paper.pdf

 

总结：这篇文章通过BRM模块，对图像的低频信息和高频信息分别进行处理。低频信息在浅层的BRM模块中处理，高频信息在沈深层的BRM模块中处理。网络的效果sota，同时模型参数较少和MSRN相近。

 

一、摘要

低频和高频的图像信息有着不同的复杂度，所以需要被不同表现能力的网络处理。所以提出了EBPN网络，

在这个网络中，不同的网络模块恢复不同的信息。

二、介绍和相关工作

1、注意，女人帽子上的纹理特征都消失了。这个可以作为今后的对比图像。

2、其他网络效果来源于网络参数的增加和完善

3、恢复某个频段的信息需要特定的函数

4、对于浅层，参数可能适合于低频信息（具有简单的纹理），但不适合于高频信息（具有复杂的纹理）

5、深的网络容易对低频信息过拟合。图像中的直线部分是低频信息？

6、尽管残差连接提供了分离已恢复信息和未恢复信息的方法，但是并没有将频率信息分离出来

总结：这一部分就是讲网络对图像的低频和高频部分应该采取不同的处理方式，这一点其实我之前也想到过，可问题是怎么样的图案是高频，什么样的图案是低频呢；以及如何去正确合理的分开低频和高频呢。

作者认为浅层的网络处理的是低频信息，深层的网络处理的是高频信息。

现有的算法对低频信息过度恢复，对复杂的纹理恢复不够充分

三、方法

整体网络的框架图如下：

 

BRM模块：

在该模块中，包含两部分的信息，图中的红色箭头（我自己标记）部分为super-resolution flow，

黄色部分为back-projection flow，UP为deconvolutional conv。

back-projection flow是super-resolution flow中没有被恢复的信息，首先将其下采样然后计算与输入之间的差值，然后通过一个残差连接的方式进行恢复。

采用这种方法，低频信息只通过浅层的BRMS模块，过拟合的问题可以被解决；而高频信息到了高频模块，不能拟合的问题也得到了解决。

连接这些BRMs时，采用卷积对其相加之和的结果进行处理。

损失函数，先用L1训练网络，然后用L2对网络微调整。

四、实验

训练集：DIV2K

图像效果：

 

The Adam [23] optimization algorithm is employed with β1 = 0.9, β2 = 0.999, and ε = 10-8.The learning rate is initially set to 10-4 and decreased by a factor of 10 at every 100 epochs.

 

PSNR和SSIM:

参数：