视频超分中的自监督适应方案

关注公众号，发现CV技术之美

本文分享论文『Self-Supervised Adaptation for Video Super-Resolution』，通过采样半监督的方式训练VSR网络，并为知识蒸馏与基于自监督的SR任务的结合开辟了一个有趣的研究方向。 

详细信息如下：

• 作者单位：韩国汉阳大学 

• 论文链接：https://arxiv.org/pdf/2103.10081.pdf

• 代码地址：https://github.com/jinsuyoo/ssa-vsr （尚未开源）

      01      

看点

自监督的SISR方法显示了不错的效果，但是扩展到视频超分方面还有待研究。摄像机或物体的前后运动在多帧中产生不同尺度的重复patch，较大的patch可能比相邻帧中相应的较小的patch包含更详细的信息，这些额外的细节有助于增强重建质量。

为此，本文提出了一种基于patch复发性的自监督方法，允许VSR网络在测试时调整自身参数来测试视频帧。通过在时空上利用自相似补丁，本方法提高了预训练VSR网络的性能并产生了时间一