Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural

Real-Time Single Image and Video Super-Resolution Using an Efficient

Sub-Pixel Convolutional Neural Network

摘要

  近来，基于深层神经网络的几种模型在单像超分辨率的重构精度和计算性能方面取得了巨大的成功。在这些方法中，低分辨率 （LR） 输入图像在重建之前使用单个滤波器（通常是双三次插值）被放大到高分辨率 （HR） 空间。这意味着在 HR 空间中执行超分辨率 （SR） 操作。我们证明这是次优的，增加了计算复杂度。在本文中，我们提出了第一个能够实现 1080p 视频实时SR的卷积神经网络 （CNN）K2 GPU。 为了实现这一点，我们提出了一种新颖的 CNN 架构，其中在 LR 空间中提取特征图。另外，我们引入了一个有效的子像素卷积层，该层学习了一个升序滤波器阵列，将最终的 LR 特征图升级到 HR 输出。通过这样做，我们有效地更换 SR 管道中的手工双三次插值滤波器，并为每个特征图进行了专门训练的更复杂的升频滤波器，同时还降低了整个 SR 操作的计算复杂度。

介绍