论文笔记(FSRCNN)

2.FSRCNN

1.研究背景：

SRCNN虽然在速度和复原质量上都表现出了优于以往手工制作模型的性能，但是其本身的结构设计影响运行速度，主要存在于两个方面。

2.存在问题：

1. SRCNN在预处理步骤时，需要先使用双三次插值将原始LR图像上采样到所需的大小，以形成输入，计算量大。

2. SRCNN的非线性映射步骤代价太大，输入图像补丁被投影到高维LR特征空间上，然后被复杂映射到另一个高维HR特征空间。

3.改进思索：

1. 如果直接从原始LR图像中学习网络，速度提升将是显著的，大约能快N^2倍。

2．如何缩小网络规模的同时保持以前的准确性。

4.解决方案：

1. 采用反卷积层来取代双三次插值。将反卷积层放置在网络的末端，使计算复杂度与原始LR图像的空间大小成正比。

2. 在映射层的开始和结束分别添加一个收缩层和一个扩展层，以限制在低维特征空间中的映射，并将一个单一的宽映射层分解为几个窄映射层。整体对称，两端粗，中间细。

FSRCNN可以分解为特征提取、收缩、映射、展开和反褶积五个部分

特征提取：由于没有进行插值而直接进行特征提取，将9 × 9卷积核换用5 × 5的，卷积输出通道d为敏感参数。

收缩：LR特征维d通常很大，导致其映射步骤的计算复杂度相当高，故特征提取层后增加一个收缩层来降低LR特征维数d，采用较少的卷积核s 使得LR特征维数从d降至s，s为敏感参数。

映射：使用多个3 × 3层来取代单个宽层，映射层数m是敏感变量，决定了映射的精度和复杂度。

展开：收缩操作减少了LR特征维数，如果直接根据这些低维特征生成HR图像，最终的还原质量会较差。因此，我们在映射部分之后增加一个扩展层来扩展HR特征维，其作用与收缩层的作用相反，用于恢复特征维度。

上采样重建：用反卷积对之前的特征进行上采样和聚合,其看作是卷积的逆运算，可以对其进行微调实现多尺度因子放大。

5.成果对比：

FSRCNN模型实现了超过40倍的速度提升，在性能甚至优于SRCNN-Ex。还提出了一个小型的FSRCNN网络(FSRCNN-s)，它实现了与SRCNN类似的恢复质量，但速度快了17.36倍，并且可以在通用CPU下实时运行(24帧/秒)。

6.特点总结：

1.重新制定之前的模型并获得更好的性能，而不是逼近模型。

2.网络最后的反卷积层可以实现多尺度输出。

3.制作了新的用于SR的数据集General-100。