经典论文复现 | 基于深度学习的图像超分辨率重建

过去几年发表于各大 AI 顶会论文提出的 400 多种算法中，公开算法代码的仅占 6%，其中三分之一的论文作者分享了测试数据，约 54% 的分享包含“伪代码”。这是今年 AAAI 会议上一个严峻的报告。 人工智能这个蓬勃发展的领域正面临着实验重现的危机，就像实验重现问题过去十年来一直困扰着心理学、医学以及其他领域一样。最根本的问题是研究人员通常不共享他们的源代码。 

可验证的知识是科学的基础，它事关理解。随着人工智能领域的发展，打破不可复现性将是必要的。为此，PaperWeekly 联手百度 PaddlePaddle 共同发起了本次论文有奖复现，我们希望和来自学界、工业界的研究者一起接力，为 AI 行业带来良性循环。

作者丨Molly

学校丨北京航天航空大学

研究方向丨计算机视觉

笔者本次选择复现的是汤晓鸥组 Chao Dong 的作品，这篇论文也是深度学习应用在超分辨率重构上的开山之作。

论文复现代码： 

http://aistudio.baidu.com/#/projectdetail/23978

超分辨率重构

单图像超分辨率重构（SR）可以从一张较小的图像生成一张高分辨率的图像。显然，这种恢复的结果是不唯一的。可以这样直观地理解：远远看到一个模糊的身影，看不清脸，既可以认为对面走来的是个男生，也可以认为这是个女生。那么，当我想象对面人的长相时，会如何脑补呢？

这就依赖于我们的先验知识。假如我认为，一个穿着裙子的人肯定是个女生，而对面那个人穿着裙子，所以我认为那是个女生，脑补了一张女神脸。然而，如果我知道穿裙子的人不一定是女生，还可能是女装大佬。迎面走来那个人瘦瘦高高，所以我认为十有八九是个男孩子，就会脑补一个……

也就是说，不同的先验知识，会指向不同的结果。我们的任务，就是学习这些先验知识。目前效果最好的办法都是基于样本的（example-based）。

▲ 超分辨率重构的结果。SRCNN所示为论文提出的模型的结果，可以看出，边缘更加清晰。

论文提出一种有趣的视角：CNN 所构造的模型和稀疏编码方法（sparse coding based）是等价的。稀疏编码方法的流程如下： 

1. 从原始图片中切割出一个个小块，并进行预处理（归一化）。这种切割是密集的，也就是块与块之间有重叠；

2. 使用低维词典（low-resolution dictionary）编码，得到一个稀疏参数；

3. 使用高维词典（high-resolution dictionary）结合稀疏参数进行重建（换了个密码本）；

4. 将多个小块拼接起来，重合部分使用加权和拼接。

上图是卷积神经网络对应于稀疏编码的结构。对于一个低分辨率图像 Y，第一个卷积层提取 feature maps。第二个卷积层将 feature maps 进行非线性变换，变换为高分辨率图像的表示。最后一层恢复出高分辨率图像。 

相比于稀疏编码，论文提出的模型是 end-to-end 的，便于优化。并且，不需要求最小二乘的解，运算速度更快。

模型构造和训练

模型的结构 

这是一个 base-line 模型。如下图，f1=9,f2=1,f3=5,n1=64,n2=32，前两层使用 relu 作为激活函数。输入为图像的 Y 通道。