图像中一些“即插即用”的基本网络结构块

本文主要参考文章：

【1】Wenming Yang, Xuechen Zhang, Yapeng Tian, Wei Wang, Jing-Hao Xue. Deep Learning for Single Image Super-Resolution: A Brief Review. arxiv, 2018.

【2】Saeed Anwar, Salman Khan, Nick Barnes. A Deep Journey into Super-resolution: A survey. arxiv, 2019.

【3】Wang, Z., Chen, J., & Hoi, S. C. (2019). Deep learning for image super-resolution: A survey. arXiv preprint arXiv:1902.06068.

深度学习发展到现在，各种各样的结构模型层出不穷，什么long-skip、local-skip、残差套残差、dense套dense等等，但究其根本，只不过是各种基本模块之间的相互组合，模型越复杂，相对而言其能力也会强一点。本文记录一些应用于图像超分领域的“即插即用”的基本网络结构块，对于其他的一些针对图像low-level的工作，也是完全可以适用。

（1）ResNet（残差结构）

残差结构很好地缓解了梯度消失的问题，因此能够训练出更深、更复杂的网络（不得不说何凯明大神还是厉害啊）。现在的网络结构基本上都会加上这种结构形式。

（2）DenseNet（密集型连接结构）

这种结构某种意义上感觉和ResNet有点像，它是为了当前的卷积层能够直接获得前面卷积层的信息，有利于信息的流动。

（3）Inception 模块

在同一 层级上运行多个尺度的滤波器，来获取不同的特征。

（4）Information Multi-Distillation Block (IMDB) 信息蒸馏结构

这是19年的文章，个人觉得挺不错的，并不是进行网络的堆叠

我在前面博客写过关于这篇论文的介绍