论文解读之MemNet: A Persistent Memory Network for Image Restoration

论文名称：MemNet: A Persistent Memory Network for Image Restoration

作用领域：图像修复（去噪，超分辨率）

code：https://github.com/tyshiwo/MemNet

概述：这是一篇ICCV2017的文章，作者是DRRN（CVPR2017）的那一帮人，该篇论文中提出一个延长记忆的模型，

传统的神经网络基本上都是单向传播，那么在靠后的层，接收到的信号十分的微弱，这种单向传播的网络，诸如VDSR，DRCN等，被称为短期记忆网络，而对于RED，ResNET这种，网络中的神经元不仅受直接前驱的影响，另外还受到额外指定的前驱神经元的英雄，这种被称为限制的长期记忆网络，如下图所示。

那么，所谓的长期记忆模型是怎么样的，作者举例了什么大脑皮层之类的相关文献，指出自己的长期记忆模型是模拟了人类大脑皮层的工作等等，此等废话只能用以装点门面，跳过。。。。

长期记忆模型有以下3点特殊之处：

1.记忆单元利用门控机制（gate unit）建立长期记忆，在每个记忆单元，门控单元自适应的控制不同的模块（block）在最终输出中所占的权重（weight），控制保留哪些单元，存储哪些信息。

2.很深的网络（80层），密集的连接结构（由上图可见一斑），信号补偿机制（靠后的神经元被靠前的神经元直接连接），最大限度的让信息在不同的记忆单元之间流动。

3.该结构被证明有很强的学习能力，一个model处理多个任务（该model被应用于图像复原，去噪，超分辨率）

那么说了那么多，其实对所谓的长期记忆模型究竟是什么依然模糊，依然不清楚作者在说些什么，那么看下代码和网络模型图，

首先，PENet只是一些卷积，提取特征后，进入迭代模块，多个block递归堆叠，但是，每个记忆模块（memory block）都参与了最终输出，即都连接到了ReconNet,并且不同的记忆单元之间密集链接，ReconNet是个卷积核为1X1的卷积层，负责将所有记忆单元的存储信息分别输出，最终所有记忆模块的输出均被输出，所有输出进行elementwise，

网络结束。

那么，所谓的长期记忆模型只是一个密集链接的multi-scale的网络，最终结果融合了所有记忆单元的输出。在output 1, output 2........ output m相加时候，根据门禁单元可别修正每个output所占的权重（weight），

此外，所有记忆单元的输出会与输入input相加，也就是网络是残差学习，这样能够减少整个网络的权重，方便收敛，加深网络层数，网络结束。

论文结果如下图所示。

纵览CVPR2017，其中有一篇名为 Object Skeleton Extraction in Natural Images by Fusing Scale-associated Deep Side Outputs的做对称性分析的论文，是基于HED的修改版，其实此篇论文与HED也极为相似，与HED不同的是，HED是卷积层的直接堆叠，这里是记忆模块的递归堆叠，递归堆叠减少了整个网络的参数，使得网络的层数能够剧增（80层），HED直接融合每个阶段的结果，此篇论文融合后每个阶段的结果后与input相加，网络输出的只是残差，残差学习减少了整个网络的权重，能够加大网络层数。并且HED的每个阶段的权重固定，相加后平均，这种方式十分粗暴，该长期记忆模型每个记忆模块所占最终结果的权重可以由门禁单元控制调节，

以上，就是该篇论文的全部内容。