摘要:提出一个紧凑VSR网络能简单应用于移动设备手机这样,但是和复杂的VSR又有显著性能差距。所以这个文章提出复杂和紧凑两者间的时间、空间上的特征相似度来缩小性能差距用convLSTM(就是一个经典的提取特征的网络)
1引言:现在问题是需大量计算资源才能有很好的超分辨性能,所以用性能好的VSR网络在移动手机这种基本不可能。大多数VSR方法是包含运动补偿模块
EDVR方法是2019视频恢复增强赛冠军,它是利用金字塔、级联、可变形结构的组合来实现多帧对齐的。结合时间和空间注意模块进行信息融合。隐式框架对齐在一定程度上能提高计算效率。
为减少计算成本,一些研究使用递归方案引入成本有效的VSR网络结构。
本文创新点:它并没有说要设计一个更好的网络模型,而是利用一个教师网络(比喻)来训练学生网络(比喻) 它就是训练过程发生改变,那个推理inference仍然不改变
这篇文章的图2就是传统的复杂的VSR网络和该篇文章的结构,用的Ftsr进行distill,能实现更好的重构精度。
4实验:实验方面采用的,网络结构是EDVR作为复杂的VSR网络(论文中称之为先进的)。小型网络则是VSRNET,VESPCN,D3DNet。
5结论:这个方法可以在一个复杂的网络帮助下来训练出一个性能还可以的紧凑网络,即这个网络相比较之前是模型没有改变、且推断时间一样。
说实话 这个文章看的不怎么懂。