pythonb超分辨成像_深度学习之图像超分辨重建技术

传统超分辨重建技术大体上可分为4类【1, 2】，分别是预测型(prediction-based), 边缘型(edge-based), 统计型(statistical)和图像块型(patch-based/example-based)的超分辨重建方法。

目前大家使用最多的是图像块型，我们在图像块型领域选择了4篇基于深度学习的图像块型超分辨重建的经典论文进行关键技术点分析。从论文中我们可以看出研究者们对于超分辨任务的不同的理解与解决问题思路。

在2012年AlexNet以15.4%的历史性超低的分类错误率获得ImageNet大规模视觉识别挑战赛年度冠军，吹响了深度学习在计算机视觉领域爆炸发展的号角之后。超分辨重建技术也开始采用深度学习的思想，以期获得更优的算法表现。

文章1：Image Super-Resolution Using Deep Convolutional Networks

作者： Chao Dong, Chen Change Loy, Kaiming He and Xiaoou Tang

SRCNN是基于深度学习的超分辨重建领域的开山之作，继承了传统机器学习领域稀疏编码的思想，利用三层卷积层分别实现: 1. 图像的图像块抽取与稀疏字典建立；2. 图像高、低分辨率特征之间的非线性映射；3. 高分辨率图像块的重建。

具体地，假设需要处理的低分辨率图片的尺寸为H × W × C， 其中H、W、C分别表示图片的长、宽和通道数；SRCNN第一层卷积核尺寸为C × f1 × f1 × n1,可以理解为在低分辨率图片上滑窗式地提取f1 × f1的图像块区域进行n1种类型的卷积操作。在全图范围内，每一种类型卷积操作都可以输出一个特征向量，最终n1个特征向量构成了低分辨率图片的稀疏表示的字典，字典的维度为H1 × W1 × n1；SRCNN第二层卷积核尺寸为n1 × 1 × 1 × n2，以建立由低分辨率到高分辨率稀疏表示字典之间的非线性映射，输出的高分辨率稀疏字典的维度为H1 × W1 × n2，值得注意的是在这一步中SRCNN并未采用全连接层(fully connected layer)来进行特征图或是稀疏字典之间的映射，而是采用1x1卷积核，从而使得空间上每一个像素点位置的映射都共享参数，即每一个空间位置以相同的方式进行非线性映射； SRCNN第三层卷积核尺寸为n2 × f3 × f3 × C，由高分辨率稀疏字典中每一个像素点位置的n2 × 1向量重建f3 × f3图像块，图像块之间相互重合覆盖，最终实现图片的超分辨率重建。