论文笔记（SRCNN）

1. SRCNN

1.研究背景：

单幅图像超分辨率是计算机视觉领域的一个经典问题，目前最先进的单幅图像超分辨率方法大多是基于实例的，基于实例的方法通常具有丰富的样本，但难以对数据进行有效和紧凑的建模。

2.存在问题：

基于稀疏编码的方法是基于外部实例的图像超分辨率的代表性方法之一。首先，从图像中密集提取重叠补丁并进行预处理。然后，用低分辨率字典对这些补丁进行编码，稀疏系数被传递到一个高分辨率字典中，用于重建高分辨率补丁。最后，重叠的重建补丁被聚合以产生输出。类似的SR方法特别关注字典的学习和优化或建模的替代方法，很少在统一的优化框架中对通道中的其余步骤进行优化或考虑。

3.改进思索：

受益于神经网络的进展，SR的整个处理过程可以等价于深度卷积神经网络，理论上可以设计一个卷积神经网络实现低分辨率图像和高分辨率图像之间的端到端映射，使其通过学习完全获得整个SR通道，相比之前需要对补丁进行优化，该设计几乎没有预处理和后处理。

4.解决方案：

在传统的基于稀疏编码的SR方法的指导下，设计出基于卷积神经网络的超分辨方法，提出了超分辨率卷积神经网络(SRCNN)。

预处理：用双三次插值将输入的LR图像提升到所需的大小。

特征提取：从LR图像中提取补丁，并将每个补丁表示为高维向量，这些向量组成了一组特征图，其中的数量等于向量的维数。

非线性映射：将每个高维向量非线性地映射到另一个高维向量上，每个映射向量在概念上都是一个高分辨率补丁，这些向量组成了另一组特征图。

图像重建: 该操作将高分辨率的补丁表示进行聚合，生成最终的高分辨率图像。

损失：利用随机梯度下降和标准反向传播使损失最小化。

5.成果对比：

恢复质量：所提出的SRCNN在对比实验基本取得了最高的PSNR，SRCNN在学习阶段的最开始就超越了双三次基线，经过适度的训练，SRCNN的性能优于现有的最先进的方法。然而，性能远未收敛。

处理速度：SRCNN在Set14中每张图像平均花费0.39秒，而其他方法要慢几倍甚至几个数量级。

6.特点总结：

1.结构简单，准确性高。证明了深度学习在经典的超分辨率计算机视觉问题中是有用的，并且可以实现良好的质量和速度。

2.稀疏编码方法不是前馈的，是一个迭代算法。相反，SRCNN是完全前馈的，可以有效地进行计算。

3.通过适当的卷积核及层数设计可以实现在CPU上也能实现快速的实际在线使用，比一系列基于实例的SR方法更快。

4.当使用更大的数据集或增大网络模型时，网络的恢复质量可以进一步提高。