DRRN阅读笔记

DRRN：深度递归残差网络

1.介绍

本文提出了一种非常深的CNN模型（多达52个卷积层），称为深度递归残差网络（DRRN），它致力于深入而简洁的网络。 具体而言，采用残差学习，以减轻培训深层网络的难度; 递归学习用于控制模型参数，同时增加深度。 广泛的基准评估表明，DRRN明显优于SISR的最新技术水平，同时利用更少的参数。

主要有两个新颖点：

1. 在VDSR和DRCN中应用的只是从输入到输出的全局残差学习（GRL），GRL主要可以降低训练深层网络的难度。DRRN中又添加了局部残差学习（LRL），可以减少经过深层网络后图像细节的丢失。（LRL每几个堆叠层就可以有一个而GRL只会有一个）
2. 关于残差单元的递归学习，可以使得模型更加紧凑。在DRCN中，递归层被学习并且权重在16个卷积递归层中分享。DRRN和DRCN有两个主要的区别：一是并不所有卷积层共享一个权重，DRRN拥有由数个残差单元组成的递归块，权重在这些残差单元中共享；二是DRRN通过设计具有多路径结构的递归块从梯度爆炸/消失的负担中解脱出来，可以很容易的训练，并且仅仅增加卷积深度而不添加参数就能提升准确度。

2.相关工作

以上是RESNET，VDSR,DRCN和DRRN的简略模型图

VDSR在