ESPCN论文笔记

ESPCN论文笔记

论文：Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network

此前利用卷积神经网络(CNN)的图像超分辨率方法(Super Resoluiton, SR)中，通常在图像预处理阶段利用双三次插值将低分辨率(LR)图像变换为目标分辨率，然后在高分辨率的条件下进行特征提取与图像重建(例如SRCNN)。这样做使得算法的计算复杂度很高，ESPCN提出了一种在低分辨率场景下提取特征并重建图像的网络结构，降低了计算量，提高了运行速度。

网络结构

首先将L层卷积神经网络直接应用于LR图像，然后应用亚像素卷积层(sub-pixel convolution layer)进行特征映射与放大生成高分辨率(HR)图像。亚像素卷积层就是ESPCN的主要贡献，其后有很多方法都仿照此，在LR上提取特征，继而经过亚像素卷积层提高分辨率。(sub-pixel convolution又称作pixel shuffle)