超分辨率重构二---FSRCNN

FSRCNN(Accelerating the Super-Resolution Convolutional Neural Network)阅读笔记
1、论文地址：https://arxiv.org/abs/1608.00367
2、github上tensorflow代码： https://github.com/yifanw90/FSRCNN-TensorFlow
3、论文介绍
3.1、SRCNN的缺点
速度太慢，速度慢的原因主要有两个方面，第一个由于使用双三次插值进行上采样将图像放大，在卷积的时候所用的时间就会多出来放大倍数的平方的时间。所用的时间和图像的放大倍数n有关系，所以时间复杂度会以n的平方进行增长，第二个就是非线性映射，有研究显示映射的增多会有更好的结果，但同时带来的时间会增大，SRCNN中就是因为在非线性映射层中有太多的参数，导致训练太慢。FSRCNN解决了上述的两个问题。
3.2、解决办法
对于第一个问题，使用反卷积层代替原来的双三次插值。
对于第二个问题，在非线性映射开始加入缩小层减少特征，在结尾部分加入放大层还原特征的数量。使得整体的网络形状和时间漏斗比较相像。
3.3、FSRCNN特点

• 使用时间漏斗网络加快了时间，使用一系列的卷积层以及最后的反卷积，学习从LR到HR的映射函数；
• 速度相对于SRCNN有了较大提升；
• 训练速度变快，可以共享其中的映射层，如果需要训练不同上采样倍的模型，只需要改变之后的反卷积层就行。

3.4、FSRCNN网络

• Feature extraction(特征提取层):
  网络的输入是在原始的低分辨率的图像上，这点和SRCNN有所不同，后者是先进行下采样之后在进行上采样，FSRCNN只对原始图片进行下采样，最后在反卷积层实现了上采样得到HR图片。由于SRCNN中是对HR图片进行处理卷积核采用的大小为99，FSRCNN中使用LR，所以使用55的就可以包含9*9的全部信息，channel选取的是1，卷积核的个数由实验确定。
• Shrinking(缩小层)
  由于由LR图像在经过特征提取层后的维度会特别的高，计算的复杂性就会特别的大，因此想降低LR的维度。使用1*1的卷积核，卷积核的数量会远小于特征提取之后的。
• No-linear mapping(非线性映射层)：
  卷积层的数量以及每个卷积层中卷积核的数量在非线性映射中会有很大的作用，使用多个卷积层，因此使用多个卷积层，每个卷积层中有多个卷积核。
• Expanding(扩大)：
  由于shrinking操作降低了LR的维度，所以在结果上表现得不是特别好，加入该层，将维度扩到到原来的结果使得重构结果提高。
• Deconvolution(反卷积)：
  将以前的特征进行合并，同时使用上采样，将图像变为HR。在相反的视角来看相当于做卷积操作，所以这层使用了SRCNN中的第一层的卷积核大小9*9.

3.5、激活函数
采用Prelu激活函数，为了避免死特征，定义了该激活函数，主要针对x的值小于0的情况。

3.6、损失函数

3.7、代码介绍
未完待续。。。