超分算法DRCN：Deeply-Recursive Convolutional Network for Image Super-Resolution超分辨率重建

这篇文章是第一次将之前已有的递归神经网络(Recursive Neural Network)结构应用在图像超分辨率上。为了增加网络的感受野，提高网络性能，引入了深度递归神经网络，但出现了梯度爆炸/消失问题，又研究出了递归监督和跳跃连接两个扩展办法。
论文指引：https://arxiv.org/abs/1511.04491

Abstract

作者提出了一种使用深度递归卷积网络（DRCN）的图像超分辨率重建方法（SR）。网络有一个非常深的递归层（多达16个递归）。增加递归深度可以提高性能，而不会因为额外的卷积而引入新参数。在参数优势外，由于网络非常深，会引起梯度的爆炸/消失，使用标准的梯度下降方法学习DRCN非常困难。为了减轻训练的难度，作者提出了两个扩展方法：递归监督和跳跃连接。实验证明该网络能达到很好的效果。

1 Introduction

在图像超分辨率（SR）中，卷积网络的感受野非常重要。感受野越大，可以用来恢复缺失的高频分量的有用上下文信息就越多。现有的各种计算机视觉任务的深层卷积网络通常使用非常大的感受野（224x224，在ImageNet分类中常见）。

那么增加感受野的方式一般有两种：增大卷积核的尺寸、增加网络深度。
作者提到使用增加网络深度的方法有两种：使用尺寸大于1×1的卷积核conv层或pool层。
但这两种增加网络深度的方法都有各自的缺陷：conv层会引入更多参数；pool层通常会丢弃一些重要的像素级的信息导致重建图像丢失细节。对于超分辨率和去噪等图像恢复问题，图像细节非常重要，因此图像重建类的工作都不使用pool。因此只能考虑通过增加卷积层来增加网络深度，但过大的网络又会导致两个问题：需要用大量的数据来避免过拟合、网络模型的存储和加载困难。

由此作者提出了深度递归卷积网络，用相同的循环层来替代不同的卷积层。当执行更多递归时，参数的数量不会增加。又加深了网络的深度。单纯的使用深度递归卷积网络，作者发现了一些问题：用广泛使用的随机梯度下降法优化的DRCN不容易收敛。是因为梯度爆炸/消失和单个权重层难以学习像素之间的长期依赖关系。

又由此作者提出了两种方法来缓解训练难度：循环监督和跳跃连接。

1. 循环监督：把每次递归后的特征映射都用于重建目标高分辨率图像HR。由于每次递归都会导致不同的HR预测，因此作者将不同级别的递归产生的所有预测结合起来，以提供更准确的最终预测。
2. 跳跃连接：在SR中，低分辨率图像（输入）和高分辨率图像（输出）在很大程度上共享相同的信息。输入的精确信息在许多向前传递过程中可能会衰减。于是作者将输入和各层的输出连接到重建层，用于图像的恢复。
 

2 Method

作者先介绍了基本的含递归卷积网络的模型，但这个方法难以训练，作者又提出了改进后的高级模型(加入了递归监督和skip connection)。

2.1 Basic Method

基底模型由三个子网络组成：嵌入网络embedding netword、推理网络 inference network 和 重建网络reconstruction network。嵌入网络用于将给定图像表示为特征映射，推理网络加深网络深度，将嵌入网络的输出特征映射到更高维度。一旦推理完成，推理网络中的最终特征映射将被送入重建网络以生成输出图像。 上图中的input图像是原始LR图像经过插值上采样后的图像。

网络的目标是学习一个模型$f$使预测值$\hat{y}=f(x)$，$\hat{y}$ 是估计地面真实的输出。用$f1、f2、f3$分别表示嵌入层、推理层、重建层子网络函数。整体模型用$f(x)=f_3(f_2(f_1(x)))$来表示。

嵌入层：
含有一层隐藏层，将输入图像（灰度或RGB）表示为一组特征映射。
嵌入层网络函数 f 1 (