3DSRnet: Video Super-resolution using 3D Convolutional Neural Networks论文笔记

3DSRnet: Video Super-resolution using 3D Convolutional Neural Networks论文笔记

论文链接

一. 简介

• 虽然2D-CNNs 在图像建模方面具有强大的功能，但3D-CNNs 更适合于时空特征提取，因为它可以保存时间信息。
• 本文提出了有效的3D-CNN 视频超分辨率，不需要运动对齐作为预处理。
• 本文的3DSRnet 保持时空特征图的时间深度，最大限度地捕捉LR 和HR 帧之间的时间非线性特征，结合亚像素输出并且加入了残差学习。

二. 网络结构

整体框架

• 上图为3DSRnet的输入和输出结构。例如有5个输入帧，输入帧通过3D-CNN进行时空特征提取，得到多通道输出。
• 又因为比例因子为2，所以有四个输出通道。(输出通道= scale²)。对它们进行整形，得到HR 的残差帧。最后加上经过双三次放大的中间帧得到最终的HR 帧。