TPAMI 2024 | 自我监督的深度盲视频超分辨率

Self-Supervised Deep Blind Video Super-Resolution

题目：自我监督的深度盲视频超分辨率

作者：Haoran Bai and Jinshan Pan
源码：https://github.com/csbhr/Self-Blind-VSR

---

摘要

现有的基于深度学习的视频超分辨率(SR)方法通常依赖于有监督学习方法，其中训练数据通常是通过已知或预定义的核（例如，双三次核）进行模糊操作后跟一个降采样操作生成的。然而，这对于真实应用来说并不成立，因为退化过程复杂，不能很好地用这些理想情况来近似。此外，在现实世界场景中获取高分辨率(HR)视频及其对应的低分辨率(LR)视频是困难的。为了克服这些问题，我们提出了一种自我监督学习方法来解决盲视频SR问题，该方法同时从LR视频中估计模糊核和HR视频。由于直接使用LR视频作为监督通常会导致平凡解，我们开发了一种简单有效的方法，根据视频SR的成像原理从原始LR视频中生成辅助配对数据，以便网络可以更好地通过生成的配对数据约束模糊核估计和潜在HR视频恢复。此外，我们引入了一个光流估计模块，以利用相邻帧的信息进行HR视频恢复。实验表明，我们的方法在基准测试和真实世界视频上的表现优于现有最先进技术。

关键词

• 自我监督学习
• 盲视频超分辨率
• 卷积神经网络
• 深度学习

I. 引言

随着高清