LapSRN详解——简单易懂的小白教学

文章全名： Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution

论文下载地址： https://pan.baidu.com/s/1nva9off

code：https://github.com/phoenix104104/LapSRN

 

零、必备知识点：

1) 拉普拉斯金字塔基本知识：https://www.jianshu.com/p/e3570a9216a6

2) 深度学习的图像超分模型基本知识：http://ai.51cto.com/art/201807/578543.html

一、简介：

LaSRN是2017年在CVPR上发表的超分辨率算法，作者结合传统图像算法拉普拉斯金字塔与深度学习，实现多级超分辨模型，由LR生成不同超分辨率SR。

优点：1）速度快:和FSRCNN差不多，实现了实时重建

           2）精度高:LapSRN直接从LR图像提取特征图，用深的卷积层优化上采样过滤器并预测子带残差

（HR:high-resoluton指高分辨率图像, SR:super-resoluton指超分辨率图像, LR:low-resoluton指低分辨率图像）

二、基本原理： 

模型有两个分支，上面是特征提取分支，下面是图像重构分支。

（红色箭头:卷积进行特征提取，蓝色箭头:反卷积提升分辨率，绿色箭头：两张图片逐像素相加）

上层分支即特征提取中，每一级有d个卷积层，再跟随一个2倍的反卷积提升分辨率即图像长宽各扩大一倍，每个反卷积层的输出与两个不同层链接：(1) 重建残差图像的卷积层；(2)s+1层提取特征的卷积层。残差图像（图中黑白图像）和采用相同方式（上采样）提升分辨率的LR图像相加，得到更精细的SR。这样采用逐层递进的方式可以重建出更为清晰的超分辨图像，也因此可以获得不同scale的重构图像。

（残差图像的解释可以参考：https://blog.csdn.net/dugudaibo/article/details/78800000）

三、模型框架（其中一层）：

网络封装：每个卷积层在卷积前都进行了padding保持了与输入一致，每个卷积核都是3*3*64，反卷积有4*4的核，激活层采用ReLU。对*2*4的重构图像，每级的卷积层d=10，*8的重构图像d=5。

四、损失函数

我们的最终目标是从输入x构建出靠近真实HR:Y的超分辨图像。假设在s级金字塔的残差图像为rs，升采样过后的图像为xs，对应的HR图像为ys=rs+xs。将HR用双三次插值降采样到对应的金字塔等级：Ys，构建的损失函数为： 

其中ρ(x)=sqrt（x2+ϵ2）是Charbonnier penalty function（L1范数的变体），N是每个批次的数量，L是金字塔的级数。在这种损失函数下，金字塔每级的输出都会靠近某个尺度下的HR，因此才可以同时实现*2*4*8的超分辨。

五、图像展示（转原作者）：