VDSR论文总结

论文概述

1、在本论文中提出了一种高精度的单图像超分辨率方法。作者受到图像分类网络VGGNet的启发，使用了一个非常深的卷积网络应用于超分辨率领域，最终的网络模型达到20层。

2、作者发现通过在深层网络结构中多次级联小型滤波器，可以有效的利用大型图像区域上的上下文信息。

3、作者通过仅学习残差和使用极高的学习率来改善深层网络收敛慢的问题。

4、最终提出的方法无论是精度上还是视觉提升上都比现有的方法要好。

文章的贡献/独特点：

1. 提出了一种基于深度卷积网络的高精度SR方法。如果使用较小的学习率，非常深度的网络收敛太慢。用高学习率来提高收敛率会导致梯度爆炸，我们用残差学习和梯度剪辑来解决这个问题。
2. 解决了单一网络应对多尺度问题

VDSR模型与SRCNN模型的区别：

1、SRCNN由三个网络层构成：补丁提取与表示、非线性映射和重建，对应滤波器的尺寸大小分别为9×9、1×1、5×5。在SRCNN中尝试搭建更深层的网络，但是并没有观察到预期的更好的性能。因此，SRCNN的作者认为：更深层的网络并不一定带来更好的性能。但是，在本论文中，作者认为：加深网络层能够显著的提升性能。并成功的构建了一个20层的网络，相比于SRCNN模型，VDSR模型更深（20vs3），所使用的感受野更大（41vs13）。

2、相比较于SRCNN直接对高分辨率图像进行建模，我们的网络是直接对残差图像（低分辨率与高分辨率图像的区别或者说是图像细节）进行建模，这使得收敛速度更快，精度更高。

3、SRCNN是针对单个尺度因子进行训练的，并且只在指定的尺度下工作。如果改变尺寸，就需要重新训练一个新的模型。相比于SRCNN模型，VDSR模型虽然是单个网络，却能够有效处理多尺度SR问题。

4、通过在训练期间每层填充零，我们的输出图像与输入图像的大小相同。对所有层使用相同的学习率。SRCNN对不同层采用不同的学习率。并且本文中的学习率要高于SRCNN中的学习率。

SRCNN的局限：

1. 它依赖于小图像区域的上下文
2. 训练收敛太慢
3. 网络只适用于单一规模，只能在指定的尺度下工作。

解决方法：

上下文信息：对于尺寸较大的图像，在深层网络中使用大的感受野来获取大尺寸图像的上下文信息

收敛度：使用残差学习CNN和极高的学习率来提高收敛的速度

比例因子：设计一个单一模型来实现多尺度超分辨率

论文精度：VDSR论文精读