《MemNet: A Persistent Memory Network for Image Restoration》阅读笔记

一、论文

《MemNet: A Persistent Memory Network for Image Restoration》

摘要：最近，非常深的卷积神经网络（CNN）在图像恢复中引起了相当大的关注。 但是，随着深度的增加，对于这些非常深的模型很少能实现长期依赖性问题，这导致先前的状态/层对后续的状态/层几乎没有影响。 受人类思想具有持久性这一事实的启发，我们提出了一个非常深的持久性内存网络（MemNet），该网络引入了一个包含递归单元和门单元的内存块，以通过自适应学习过程显式地挖掘持久性内存。 递归单元学习不同接受域下当前状态的多级表示。 先前存储块的表示和输出被串联并发送到门单元，该门单元自适应地控制应保留多少先前状态，并决定应存储多少当前状态。 我们将MemNet应用于三个图像恢复任务，即图像去噪，超分辨率和JPEG解块。 全面的实验证明了MemNet的必要性及其在所有三个任务上都比现有技术具有一致的优势。 可以从https://github.com/tyshiwo/MemNet获得代码。

一个用于完成门控机制以帮助桥接长期依赖关系的内存块。 在每个存储块中，门单元自适应地为不同的存储器学习不同的权重，该权重控制应保留多少长期存储器，并决定应存储多少短期存储器。

非常深的端到端持久存储网络（80个卷积层），用于图像恢复。 密集连接的结构有助于补偿中/高频信号，并确保最大的信息在存储块之间流动。 据我们所知，它是迄今为止图像还原最深入的网络。

相同的MemNet结构在图像去噪，超分辨率和JPEG解块方面实现了最先进的性能。 由于强大的学习能力，即使使用单一模型，我们的MemNet也可以接受训练以处理不同级别的损坏。

二、网络结构

图1.现有的网络结构（a，b）和我们的内存块（c）。蓝色圆圈表示具有展开结构​​的递归单元，该递归单元生成短期记忆。 绿色箭头表示直接传递到门单元的先前存储块中的长期存储。