经典论文复现 | 基于深度卷积网络的图像超分辨率算法

过去几年发表于各大 AI 顶会论文提出的 400 多种算法中，公开算法代码的仅占 6%，其中三分之一的论文作者分享了测试数据，约 54% 的分享包含“伪代码”。这是今年 AAAI 会议上一个严峻的报告。 人工智能这个蓬勃发展的领域正面临着实验重现的危机，就像实验重现问题过去十年来一直困扰着心理学、医学以及其他领域一样。最根本的问题是研究人员通常不共享他们的源代码。 

可验证的知识是科学的基础，它事关理解。随着人工智能领域的发展，打破不可复现性将是必要的。为此，PaperWeekly 联手百度 PaddlePaddle 共同发起了本次论文有奖复现，我们希望和来自学界、工业界的研究者一起接力，为 AI 行业带来良性循环。

作者丨张荣成 

学校丨哈尔滨工业大学（深圳）

研究方向丨计算数学

笔者本次选择复现的是汤晓鸥教授和何恺明团队发表于 2015 年的经典论文——SRCNN。超分辨率技术（Super-Resolution）是指从观测到的低分辨率图像重建出相应的高分辨率图像，在监控设备、卫星图像和医学影像等领域都有重要的应用价值。在深度卷积网络的浪潮下，本文首次提出了基于深度卷积网络的端到端超分辨率算法。

论文复现代码： 

http://aistudio.baidu.com/aistudio/#/projectdetail/24446

SRCNN流程

▲ SRCNN算法框架

SRCNN 将深度学习与传统稀疏编码之间的关系作为依据，将 3 层网络划分为图像块提取（Patch extraction and representation）、非线性映射（Non-linear mapping）以及最终的重建（Reconstruction）。

SRCNN 具体流程如下： 

1. 先将低分辨率图像使用双三次差值放大至目标尺寸（如放大至 2 倍、3 倍、4 倍），此时仍然称放大至目标尺寸后的图像为低分辨率图像（Low-resolution image），即图中的输入（input）； 

2. 将低分辨率图像输入三层卷积神经网络。举例：在论文其中一个实验相关设置，对 YCrCb 颜色空间中的 Y 通道进行重建，网络形式为 (conv1+relu1)—(conv2+relu2)—(conv3+relu3)；第一层卷积：卷积核尺寸 9×9 (f1×f1)，卷积核数目 64 (n1)，输出 64 张特征图；第二层卷积：卷积核尺寸 1×1 (f2×f2)，卷积核数目 32 (n2)，输出 32 张特征图；第三层卷积：卷积核尺寸 5×5 (f3×f3)，卷积核数目 1 (n3)，输出 1 张特征图即为最终重建高分辨率图像。

训练

训练数据集

论文中某一实验采用 91 张自然图像作为训练数据集，对训练集中的图像先使用双三次差值缩小到低分辨率尺寸，再将其放大到目标放大尺寸，最后切割成诸多 33 × 33 图像块作为训练数据，作为标签数据的则为图像中心的 21 × 21 图像块（与卷积层细节设置相关）。

损失函数

采用 MSE 函数作为卷积神经网络损失函数。

卷积层细节设置

第一层卷积核 9 × 9，得到特征图尺寸为 (33-9)/1+1=25，第二层卷积核 1 × 1，得到特征图尺寸不变，第三层卷积核 5 × 5，得到特征图尺寸为 (25-5)/1+1=21。训练时得到的尺寸为 21 × 21，因此图像中心的 21 × 21 图像块作为标签数据（卷积训练时不进行 padding）。

# 查看个人持久化工作区文件
!ls /home/aistudio/work/
# coding=utf-8
import os
impo