看得“深”、看得“清” —— 深度学习在图像超清化的应用

作者：张延祥，就职于Google北京输入法团队。北航本硕，CSDN知名博主，有多篇CSDN博文流传甚广，对深度学习、自然语言处理和计算机视觉有极大的热忱。

责编：王艺，CSDN AI栏目编辑/记者，目前从事【AI创新者】系列人物访谈，合作及投稿请联系wangyi@csdn.net

本文为《程序员》原创文章，未经允许不得转载，更多精彩文章请订阅2017年《程序员》

日复一日的人像临摹练习使得画家能够仅凭几个关键特征画出完整的人脸。同样地，我们希望机器能够通过低清图像有限的图像信息，推断出图像对应的高清细节，这就需要算法能够像画家一样“理解”图像内容。至此，传统的规则算法不堪重负，新兴的深度学习照耀着图像超清化的星空。

图1. 最新的Pixel递归网络在图像超清化上的应用。

左图为低清图像，右图为其对应的高清图像，中间为算法生成结果。

这是4倍超清问题，即将边长扩大为原来的4倍。

得益于硬件的迅猛发展，短短几年间，手机已更新了数代，老手机拍下的照片在大分辨率的屏幕上变得模糊起来。同样地，图像分辨率的提升使得网络带宽的压力骤增。如此，图像超清化算法就有了用武之地。

对于存放多年的老照片，我们使用超清算法令其细节栩栩如生；面对网络传输的带宽压力，我们先将图像压缩传输，再用超清化算法复原，这样可以大大减少传输数据量。

传统的几何手段如三次插值，传统的匹配手段如碎片匹配，在应对这样的需求上皆有心无力。

深度学习的出现使得算法对图像的语义级操作成为可能。本文即是介绍深度学习技术在图像超清化问题上的最新研究进展。

深度学习最早兴起于图像，其主要处理图像的技术是卷积神经网络，关于卷积神经网络的起源，业界公认是Alex在2012年的ImageNet比赛中的煌煌表现。虽方五年，却已是老生常谈。因此卷积神经网络的基础细节本文不再赘述。在下文中，使用CNN（Convolutional Neural Network）来指代卷积神经网络。

CNN出现以来，催生了很多研究热点，其中最令人印象深刻的五个热点是：

• 深广探索：VGG网络的出现标志着CNN在搜索的深度和广度上有了初步的突破。
• 结构探索：Inception及其变种的出现进一步增加了模型的深度。而ResNet的出现则使得深度学习的深度变得“名副其实”起来，可以达到上百层甚至上千层。
• 内容损失：图像风格转换是CNN在应用层面的一个小高峰，涌现了一批以Prisma为首的小型创业公司。但图像风格转换在技术上的真正贡献却是通过一个预训练好的模型上的特征图，在语义层面生成图像。
• 对抗神经网络（GAN）：虽然GAN是针对机器学习领域的架构创新，但其最初的应用却是在CNN上。通过对抗训练，使得生成模型能够借用监督学习的东风进行提升，将生成模型的质量提升了一个级别。
• Pixel CNN：将依赖