超分辨率重建之SRCNN

这里主要讲深度学习用在超分辨率重建上的开山之作SRCNN。超分辨率技术（Super-Resolution）是指从观测到的低分辨率图像重建出相应的高分辨率图像，在监控设备、卫星图像和医学影像等领域都有重要的应用价值。SR可分为两类:从多张低分辨率图像重建出高分辨率图像和从单张低分辨率图像重建出高分辨率图像。基于深度学习的SR，主要是基于单张低分辨率的重建方法，即Single Image Super-Resolution (SISR)。

SR方法主要可以分为四种模型：基于边缘，基于图像统计，基于样本（基于补丁）的方法。本文的SRCNN网络结构非常简单，仅仅只有三层网络就是实现了SR。网络结构如下图所示：

主要分为三个步骤：

Step1 图像块的提取和特征表示，利用卷积网络的性质提取图像块的特征。公式：

Step2 非线性映射。将第一步的n1维特征映射到n2维。公式如下：

做非线性映射可以增加层数。

Step3 重构。再做一次卷积进行重构，类似于传统方法的平均处理。公式如下：

这种方法与稀疏编码的关系如下图所示：

实验的一些细节：发现使用单通道效果更好，不容易陷入局部最优解，最后一层的学习率要非常小才收敛。

 

参考：Super-Resolution Convolutional Neural Network （SRCNN, PAMI 2016, 代码)