Space-Time-Aware Multi-Resolution Video Enhancement阅读总结

代码：https://github.com/alterzero/STARnet

这是CVPR2020上发表的同时执行插帧和超分辨任务的文章。插帧和超分合起来可以称作时空超分任务，在时间维度上的超分就是增加帧率即通过插帧实现，在空间上的超分就是增加分辨率。这篇文章综合分析了时间超分和空间超分之间的关联关系，让时间超分和空间超分之间能够相互协助，从而实现更好的超分结果。

文章思路

动机：分析现有的超分方法，发现时空超分并没有被充分的考察和研究了，于是提出了一个时空超分算法STARnet。如下图所示：

STARnet算法原理

完整网络架构如下

整个网络由三个阶段组成，正如上图所标识的一样。这里提前把一些内部细节提出，便于后面算法的理解。

1）S-SR（Net_S