Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation 论文笔记
摘要
- 作者的目的是引进一个spatio-temporal sub-pixel convolution networks,能够处理视频图像超分辨,并且做到实时速度。还提出了一个将动作补偿和视频超分辨联合起来的算法,并且可以端到端训练。
- 与单帧模型相比,时空网络即可以减少计算,又可以维持输出质量。
简介
- 超分辨问题一直是信号处理领域中的一大挑战。在多帧超分辨问题中,假设能够对同一场景的不同观察,它们所共有的显示冗余(explicit redundancy)可以用来限制求解空间。
- 在之前的ESPCN方法中,已经能够做到非常快速的超分辨了,但是简单地用来处理每一帧视频便没有利用帧之间的关联信息。而VSRnet虽然有联合地处理多个输入帧,但是动作补偿算法不当,速度较慢,不能做到实时。
- Spatial transformer networks可以推断两个图像间的映射参数,并且成功运用于无监督光流特征编码中,但还未有人尝试用其进行视频动作补偿。
- 作者用的结构是,用spatio-temporal networks进行超分辨,其中early fusion,slow fusion等来处理时间维度。另外还基于spatial transformers建立了动作补偿框架,与时空模型相结合,就可以得到非常好的video SR with motion compensation。
- I′LRt−1 和