超分辨率重建之FSRCNN

FSRCNN

主要的目的是加速之前的SRCNN模型。重新设计SRCNN结构，主要 在三个方面：一是使用了一个解卷积层在最后，这个作用是从没有差值的低分辨率图像直接映射到高分辨率图像。第二是，重新改变输入特征维数。第三是使用了更小的卷积核但是使用了更多的映射层。

针对SRCNN中有两点限制了速度。第一点，低分辨率图像需要上采样（通过三次插值）；第二点，非线性映射步骤，需要缩减参数加快速度。对于第一个问题采用解卷积层代替三次插值，针对第二个问题，添加萎缩层和扩张层，并将一个大层用一些小层（卷积核大小是3*3）来代替。整个网络结构类似于漏斗的形状，中间细两端粗。这个网络不仅仅速度快，而且不需要更改参数除了最后一个解卷积层。

三个贡献：1、设计漏斗结构的卷积网络，不需要预处理操作2、速度提升3、训练速度快，只要改变最后的解卷积层就可以。

由于SRCNN需要先三次插值到HRsize，所以复杂度与HRsize有关。

主要分为5个部分。特征提取：SRCNN中第一层感受野是9*9，由于这里不用插值，一次用5*5就好。坍缩：采用小的感受野1*1节约计算能力，同时输出采用s<<d方式减少计算量。非线性映射：感受野大，表现的更好，这里采用3*3.采用m个非线性单元。拓展：为了得到HR图像，那么就要进行增加扩展层，类似于坍缩层的逆过程，。解卷积层：可以看成卷积的逆过程。对于卷积，如果步长为k，那么输出大小为1/k。因此解卷积另步长为k = n。那么分辨率提升n倍。有趣的是，这个可以倒着看就想HR图像提取特征，因此这里卷积核取9*9.。激活函数：采用PReLU。整个架构是：

损失函数为

结构图：

实验结果：

参考: 
https://arxiv.org/pdf/1608.00367v1.pdf Accelerating the Super-Resolution Convolutional Neural Networks (ECCV 2016)