论文学习 使用非常深的卷积神经网络实现单图片超分辨率

前言

笔者为了和女朋友在一起做暑期研究，为了实现图片超分辨率，便搜索了这篇论文，也可以作为自己的读书笔记吧。此时笔者正值大一，有许多专有名词翻译未必恰当，如有错误欢迎批评指正，也希望各位有取舍的看，有不明白的地方可以留言，当然自己查原文或许更好。

侵权删，并退还所有可能收益。

引言

我们使用了非常深的卷积神经网络，这一想法是受到了VGG-net的在图像网络分类工作的启发。我们发现，随着提高卷积神经网络的深度，图像超分辨率的实现效果越来越好，本文最终的模型使用了20层带权重的卷积层。通过在深层网络架构中重叠小尺寸卷积核多次，一张大尺寸图片不同区域的细节信息就可以被有效的发掘。

深层网络虽然性能优秀，但其训练过程的收敛速度是一个大问题。我们提出了一种简单但是有效的训练方式——我们只学习残差，并使用比较大的学习率（是SRCNN的10⁴倍）并且能梯度调节。

背景介绍（这一部分从简）

我们解决了基于给定的低分辨率（LR）图片实现高分辨率（HR）图片的方法，这种关于单图片超分辨率（SISR）的研究已经应用于计算机视觉领域。

以前的研究

插值法

双三线性插值、兰索斯重采样（Lanczos resampling）等，这些方法基于统计得出的图片的先验知识和图片内部的重复特征。

机器学习

该方法分为几类：

• 学习一个函数，即从LR图像映射到HR图像的函数。

• 邻近节点压缩可以作用于局部区域.

• 稀疏编码用于学习一个稀疏的字典，基于对信息的稀疏表示。

• 随机森林、卷积神经网络在最近研究中取得突破。

个人感觉邻近节点压缩、稀疏编码其实本质差不多，其目的是为了提取图像中的细节特征，再对特征进行还原，笔者之前翻译的一篇文章可以很好地介绍这一现象，虽然那篇论文并没有使用稀疏编码提取特征（采用了强化学习），不过或许可以作为一个思路，进行改善？

文章连接

其中涉及的映射函数，其实就是上述的映射函数，也就是说上述方法并非孤立的，而是可以相互搭配使用。

SRCNN的优势和不足

前人的研究已经证明卷积神经网络（CNN）能够以一种端到端的方式学习从LR到HR的映射函数。SRCNN不需要任何加工过的特征（这一点在其他的方法中往往是需要的），并展现了先进的性能。

但是这种方法任然存在不足：

1. SRCNN需要小图片的周围区域
2. 训练时，网络收敛缓慢
3. 该神经网络只适用于单一规模(scale，比例)

我们的改进

上下文语境（Context， 背景）

我们利用分布在大尺寸图片区域的上下文信息，对于大尺寸因素，最常见的问题是存在于小的区域内的信息不足以被细节发掘（错误提取），我们的非常深的神经网络采用了大的感受野，将整张照片考虑在内。

收敛（Convergence）

我们提出了一种方式加速训练：残差CNN和高学习率。

由于LR图像和HR图像在广义上（在大部分区域）共享相同的信息，因此采用照片残差（体现了LR和HR图片的不同之处）进行训练是更加合理且有优势的。我们提出的结构对于输入输出具有很强关联的信息，十分有效。除此之外，我们将学习率设置为比SRCNN高10⁴，这是通过残差学习和梯度调整实现的。

比例因素（Scale Factor，规模因素）

我们的贡献

论文连接

论文连接