论文解读｜使用深度卷积网络的图像超分辨率

原创 | 文 BFT机器人 

论文标题：Image Super-Resolution Using Deep Convolutional Networks

网址：https://arxiv.org/abs/1501.00092

代码：https://github.com/Edwardlzy/SRCNN 

01

摘要

提出了一种单幅图像超分辨率（SR）的深度学习方法。该方法通过深度卷积神经网络 （CNN）学习低分辨率图像到高分辨率图像的端到端映射，输入是低分辨率图像，输出是高分辨率图像。

该方法通过联合优化所有层实现了更好的性能，使得其在恢复质量方面表现卓越，同时具有轻量级的结构，适用于快速在线应用。研究还探讨了不同的网络结构和参数设置，以及平衡性能和速度之间的关系。另外，方法还扩展了网络，能够同时处理三个颜色通道，并在整体重建质量上表现更出色。

02

介绍

此论文通过在非线性映射层中引入更大的滤波器尺寸来改进SRCNN，并通过增加非线性映射层来探索更深层次的结构。其次，扩展SRCNN以同时处理三个颜色通道(在YCbCr或RGB颜色空间中)。

实验表明，与单通道网络相比，该网络的性能可以得到改善。最后，在初始结果的基础上增加了大量新的分析和直观的解释。作者们还将原始实验从Set5和Set14测试图像扩展到BSD200（200张测试图像）

此研究的主要贡献包括以下三个方面：

1)提出了一种全卷积神经网络用于图像超分辨率。该网络直接学习低分辨率和高分辨率图像之间的端到端映射，几乎无需额外的预处理或后处理即可进行优化。

2)建立了基于深度学习的超分辨率方法与传统的基于稀疏编码的方法之间的关系，为网络结构的设计提供了指导。

3)证明了深度学习在经典的超分辨率计算机视觉问题中的实用性，能够实现优秀的质量和速度。

 

03

相关工作

3.1 Image Super-Resolution

根据图像可知，单图像超分辨率算法可分为四种类型：预测模型、基于边缘的方法、图像统计方法和基于补丁（或实例）的方法。内部基于实例的方法利用自相似特性生成示例补丁，通过改进的变体来提高效率。

外部基于实例的方法从外部数据集学习低/高分辨率补丁之间的映射，涉及学习紧凑字典或流形空间来关联补丁，并在这些空间中执行表示。这些方法包括直接使用最近邻对进行重建、流形嵌入技术、稀疏编码公式等。

进一步的改进方法包括核回归、简单函数、随机森林和锚定邻域回归。基于稀疏编码的方法及其改进是当今最先进的超分辨率方法之一，其重点在于斑块的优化，而patch提取和聚合被视为预处理和后处理步骤。

04

用于超分辨率的卷积神经网络

4.1 Formulation

在处理单个低分辨率图像时，我们采用双三次插值将其调整到所需尺寸，这是唯一的预处理步骤。我们将插值后的图像记为Y。我们的目标是从Y中恢复出与真实高分辨率图像x尽可能相似的图像F(Y)。尽管插值后的图像Y与x大小相同，我们仍称之为“低分辨率”图像。我们希望学习一个映射F，它由以下三个操作组成：

斑块提取和表示：从低分辨率图像Y中提取（重叠）补丁，并将每个补丁表示为高维向量。这些向量由一组特征映射组成，映射的数量等于向量的维数。

非线性映射：将每个高维向量进行非线性映射，得到另一个高维向量。这些映射向量在概念上代表高分辨率补丁。

重建：将上述高分辨率补丁表示聚合，生成最终的高分辨率图像。这个图像预计与真实高分辨率图像X相似。如下图所示

4.2 Relationship to Sparse-Coding-Based Methods

基于稀疏编码的方法可以看作是一种卷积神经网络，但在构建卷积神经网络时需要优化更多操作。

在基于稀疏编码的方法中，首先从输入图像中提取低分辨率补丁f1，然后通过稀疏编码求解器将其投影到低分辨率字典上，相当于应用n1个线性过滤器；稀疏编码求解器迭代处理n1个系数，输出n2个系数，这些系数表示高分辨率斑块的特征；稀疏编码求解器在下图的中间部分表示为非线性映射算子，但从卷积神经网络的角度来看，它是基于稀疏编码的方法；ReLU可以等效地视为第二个操作的一部分，而第一个操作变为纯线性卷积；基于稀疏编码的方法中的稀疏编码求解器是迭代的，而我们的非线性算子是完全前馈的，更有效；上述系数经过稀疏编码投影到高分辨率字典，然后进行重建和平均，相当于在特征映射上的线性卷积。

05

结论

提出的SRCNN方法通过学习低分辨率图像到高分辨率图像的端到端映射，减少了额外的预处理和后处理步骤。SRCNN采用了轻量化的结构，在性能方面超过了最先进的方法。研究者认为，通过进一步研究不同的滤波器和训练策略，可以进一步提升性能。

此外，所提出的方法具有简单和鲁棒性的特点，适用于其他低级视觉问题，如图像去模糊或同步超分辨率和去噪。还可以研究适用于不同升级因素的网络结构。

作者 | 淳豪

排版 | 居居手

更多精彩内容请关注公众号：BFT机器人

本文为原创文章，版权归BFT机器人所有，如需转载请与我们联系。若您对该文章内容有任何疑问，请与我们联系，将及时回应。