Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation 论文笔记

Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation 论文笔记

---

摘要

• 作者的目的是引进一个spatio-temporal sub-pixel convolution networks，能够处理视频图像超分辨，并且做到实时速度。还提出了一个将动作补偿和视频超分辨联合起来的算法，并且可以端到端训练。
• 与单帧模型相比，时空网络即可以减少计算，又可以维持输出质量。

简介

• 超分辨问题一直是信号处理领域中的一大挑战。在多帧超分辨问题中，假设能够对同一场景的不同观察，它们所共有的显示冗余（explicit redundancy）可以用来限制求解空间。
• 在之前的ESPCN方法中，已经能够做到非常快速的超分辨了，但是简单地用来处理每一帧视频便没有利用帧之间的关联信息。而VSRnet虽然有联合地处理多个输入帧，但是动作补偿算法不当，速度较慢，不能做到实时。
• Spatial transformer networks可以推断两个图像间的映射参数，并且成功运用于无监督光流特征编码中，但还未有人尝试用其进行视频动作补偿。
• 作者用的结构是，用spatio-temporal networks进行超分辨，其中early fusion，slow fusion等来处理时间维度。另外还基于spatial transformers建立了动作补偿框架，与时空模型相结合，就可以得到非常好的video SR with motion compensation。
  
• $I^{'LR}_{t-1}$和